リアルタイムの外国語翻訳字幕をゆかりネットコネクター & UDトーク + OBS Studio の組み合わせで動画内に出してみました。

ゆかりねっとコネクターで、OBSのゲーム画面に喋った内容の字幕が出せるようになりました。

前回動画配信ができるように設定したOBSに字幕を出せるようにしました。音声認識型トークアプリ「ゆかりねっと...

前回は、ゆかりネットコネクターで OBS に日本語字幕を出すところまででした。

　前回に引き続き、今回は音声認識にUDトークを利用して、ゆかりネットコネクター連動させて、喋ったセリフをCevioのさとうささらさんの合成音声に変換し、同時に日本語字幕と英語字幕をOBSに合成する実験をしました。　

注意点
1. 音声入力の経路が変わることに注意
2. 動作テスト中のゆかりネットコネクターの設定に注意
事前準備
UDトークの準備
Google Play からUDトークをインストールします。
ゆかりネットコネクターの設定
1. 接続設定
2. OBS転送設定
運用の手順
外国語翻訳の字幕を付けた動画を作ってみました
利用料金について
1. UDトーク
2. ゆかりネットコネクター
最後に
1. ゆかりネットコネクター + UDトークの良いところ

注意点

　設定内容は、前回のものを流用して上書きしているので雑な説明になっています。前回の記事を合わせてお読みいただくと良いかもしれません。

音声入力の経路が変わることに注意

　通常のゆかりねっとの使い方だと、PCに接続されたマイクで入力された音声を利用するのですが、UDトークはスマートフォンで動作しているので、スマートフォンからの音声入力を利用することになります。（エミュレーターで動かす人はわかってると思いますので除外します）

動作テスト中のゆかりネットコネクターの設定に注意

母国語設定に気づくまで、セットアップ中のテストでこれだけのリクエストを使ってしまいました。
翻訳機能をONにしたまま設定や動作テストを行うのは、APIの無駄撃ちになってもったいない気がします。

みくね

翻訳のAPIは、使うたびに費用が発生するそうなので、設定中や外国語字幕が関係ない動作中は母国語のみにしておいたほうが良いんじゃないかと愚考いたします。

事前準備

OBSに外国語の表示枠を追加する

UDトークの準備

　Androidのスマートフォンを所有していたので、それを使うことにしました。
　スマートフォンは、あらかじめゆかりねっとが動作しているパソコンと同じLAN内にWi-Fi を使ってインターネット接続ができるようにしてあります。

みくね

ゆかりねっとが動作しているPCからスマートフォンに向けて ping コマンドを打って反応があれば接続できると思います。

　ゆかりネットの接続設定を UDトークと繋ぐに変更すると、画面右側に招待ユーザーIDという番号が表示されるので、この番号を覚えておいてください。

Google Play からUDトークをインストールします。

　QRコードの画面になるので、メニューに戻ってください。
　このスマートフォンだと、画面下側の ◁ になります。

ゆかりネットコネクターの設定

接続設定

UDトークと繋ぐにチェックを入れる。
招待確認ボタンを押すと、リストにスマートフォンで設定したUDトークの名前が表示されます。
接続先の一覧に表示されている名前をダブルクリックすると、ウインド枠下部に【音声認識接続OK】又は【音声認識接続中】と表示されます。

OBS転送設定

事前にOBSに追加した、外国語テキスト名を設定して、念の為保存しておいてください。

運用の手順

UDトークを起動する
1. いますぐトークを公開するをタップ
2. 以前に公開したQRコードが見つかりました。新しく作り直しますか？と問われるので、「そのまま使う」をタップ
ゆかりねっとを起動する
1. 音声認識を開始する
OBS Studio を起動する
ゆかりねっとコネクターを起動する
1. 接続タブを選び、接続先一覧から使用するUDトークの名前を選択ダブルクリック
2. 「②ゆかりねっとと接続」ボタンを押す
3. OBS転送タブを選び、「OBSに接続」ボタンを押す
UDトークの　タップして話す　を押す
喋った内容が、合成音声と字幕になってOBSに入力されます

外国語翻訳の字幕を付けた動画を作ってみました

ゆかりねっとコネクターとUDトークの組み合わせでOBSに合成音声と字幕をつけてみました。（外国語翻訳字幕もあるよ）

字幕が小さくて見づらいですが、リアルタイムで翻訳できてるのがすごいと思いました。

利用料金について

UDトーク

　安価なプランには「業務での使用」に☓がついています。
　注意点として、UDトークさんが言う「業務での使用」は、 UDトーク®利用規約（一般）第5条（禁止事項）の④ で定義されています。

第5条（禁止事項）の④
　官公庁、地方自治体及び教育機関（幼稚園、小学校、中学校、高等学校、中等教育学校、特別支援学校、大学及び高等専門学校）がその業務のために本アプリを利用すること
UDトーク®利用規約（一般）

　常に利用規約が変更されていないか注意する必要はありますが、現状では官公庁や地方自治体、教育機関での利用が「業務」と定義されているようなので、一般人がYouTubeの動画投稿に利用するのは「業務」に当たらないと解釈できます。　

　UDトークは、機能制限がありますが一度に30分以内の利用なら無料版でも使えるとのこと。

アドオンの紹介
連続発話の時間制限を解除
iOSまたはAndroidの自動更新課金の仕組みでご利用いただけます。
利用料（一ヶ月）
¥240（自動更新登録）
機能制限とアドオンについて

　月額\240円で30分の制限が解除されるそうです。

　無料や240円のプランだと、喋った音声がサーバーに保存されてデータ分析の素材として利用されるようです。
　それが嫌な場合は、コンパクトプラン以上の契約が必要になります。　

ゆかりネットコネクター

　ゆかりネットコネクターは、 note とpixiv FANBOX から支援が行えます。
　ゆかりねっとコネクター 9カ月運用実績　を読ませていただきましたが、翻訳APIの費用で赤字が出ているそうです…
　このあたりの情報は、作者の方のpixiv FANBOX を読んで頂いたほうが最新の情報が入手できて良いと思います。

pixiv FANBOX は、 PayPal , クレジットカード,　コンビニエンスストアに対応

最後に

ゆかりネットコネクター + UDトークの良いところ

　音声認識をUDトークにするのは、スマートフォンの画面で認識結果を確認できるようになるので便利だと思います。
　音声認識のマイクが、スマートフォン側の「タップして話す」をタッチすれば任意でON/OFFできるようになるので便利だと思いました。
　ダイソーで購入したイヤホンマイクを使ってみましたが、UDトークの音量に反応する輪っかが赤色になるくらい拾っていました。
　外国語翻訳がリアルタイムで行われるのは、外国語が良くわからない私にとっては非常にありがたく素晴らしいと感じました。
　日本以外の国にリーチできると良いのは間違いないと思います。

　まずは、視聴者が楽しめる動画を作らないと駄目だと思うので、翻訳APIを無駄撃ちしないように母国語設定のみの字幕を出した動画を作って練習したいと思います。