前回に引き続き、今回は音声認識にUDトークを利用して、ゆかりネットコネクター連動させて、喋ったセリフをCevioのさとうささらさんの合成音声に変換し、同時に日本語字幕と英語字幕をOBSに合成する実験をしました。
注意点
設定内容は、前回のものを流用して上書きしているので雑な説明になっています。前回の記事を合わせてお読みいただくと良いかもしれません。
音声入力の経路が変わることに注意
通常のゆかりねっとの使い方だと、PCに接続されたマイクで入力された音声を利用するのですが、UDトークはスマートフォンで動作しているので、スマートフォンからの音声入力を利用することになります。(エミュレーターで動かす人はわかってると思いますので除外します)
動作テスト中の ゆかりネットコネクターの設定に注意
翻訳機能をONにしたまま設定や動作テストを行うのは、APIの無駄撃ちになってもったいない気がします。

翻訳のAPIは、使うたびに費用が発生するそうなので、設定中や外国語字幕が関係ない動作中は母国語のみにしておいたほうが良いんじゃないかと愚考いたします。
事前準備
OBSに外国語の表示枠を追加する
UDトークの準備
Androidのスマートフォンを所有していたので、それを使うことにしました。
スマートフォンは、あらかじめゆかりねっとが動作しているパソコンと同じLAN内にWi-Fi を使ってインターネット接続ができるようにしてあります。

ゆかりねっとが動作しているPCから スマートフォンに向けて ping コマンドを打って反応があれば接続できると思います。
ゆかりネットの接続設定を UDトークと繋ぐに変更すると、画面右側に招待ユーザーIDという番号が表示されるので、この番号を覚えておいてください。
Google Play からUDトークをインストールします。
QRコードの画面になるので、メニューに戻ってください。
このスマートフォンだと、画面下側の ◁ になります。
ゆかりネットコネクターの設定
接続設定
- UDトークと繋ぐにチェックを入れる。
- 招待確認ボタンを押すと、リストにスマートフォンで設定したUDトークの名前が表示されます。
- 接続先の一覧に表示されている名前をダブルクリックすると、ウインド枠下部に【音声認識接続OK】又は 【音声認識接続中】 と表示されます。
OBS転送設定
事前にOBSに追加した、外国語テキスト名を設定して、念の為保存しておいてください。
運用の手順
- UDトークを起動する
- いますぐトークを公開するをタップ
- 以前に公開したQRコードが見つかりました。新しく作り直しますか?と問われるので、「そのまま使う」をタップ
- ゆかりねっとを起動する
- 音声認識を開始する
- OBS Studio を起動する
- ゆかりねっとコネクターを起動する
- 接続タブを選び、接続先一覧から使用するUDトークの名前を選択ダブルクリック
- 「②ゆかりねっとと接続」ボタンを押す
- OBS転送タブを選び、「OBSに接続」ボタンを押す
- UDトークの タップして話す を押す
- 喋った内容が、合成音声と字幕になってOBSに入力されます
外国語翻訳の字幕を付けた動画を作ってみました
利用料金について
UDトーク

安価なプランには「業務での使用」に☓がついています。
注意点として、UDトークさんが言う「業務での使用」は、 UDトーク®利用規約(一般) 第5条(禁止事項)の④ で 定義されています。
第5条(禁止事項)の④
UDトーク®利用規約(一般)
官公庁、地方自治体及び教育機関(幼稚園、小学校、中学校、高等学校、中等教育学校、特別支援学校、大学及び高等専門学校)がその業務のために本アプリを利用すること
常に利用規約が変更されていないか注意する必要はありますが、現状では官公庁や地方自治体、教育機関での利用が「業務」と定義されているようなので、一般人がYouTubeの動画投稿に利用するのは「業務」に当たらないと解釈できます。
UDトークは、機能制限がありますが一度に30分以内の利用なら無料版でも使えるとのこと。
アドオンの紹介
機能制限とアドオンについて
連続発話の時間制限を解除
iOSまたはAndroidの自動更新課金の仕組みでご利用いただけます。
利用料(一ヶ月)
¥240(自動更新登録)
月額\240円で30分の制限が解除されるそうです。
無料や240円のプランだと、喋った音声がサーバーに保存されてデータ分析の素材として利用されるようです。
それが嫌な場合は、コンパクトプラン以上の契約が必要になります。
ゆかりネットコネクター
ゆかりネットコネクターは、 note とpixiv FANBOX から支援が行えます。
ゆかりねっとコネクター 9カ月運用実績 を読ませていただきましたが、翻訳APIの費用で赤字が出ているそうです…
このあたりの情報は、作者の方のpixiv FANBOX を読んで頂いたほうが最新の情報が入手できて良いと思います。
最後に
ゆかりネットコネクター + UDトークの良いところ
- 音声認識をUDトークにするのは、スマートフォンの画面で認識結果を確認できるようになるので便利だと思います。
- 音声認識のマイクが、スマートフォン側の「タップして話す」をタッチすれば任意でON/OFFできるようになるので便利だと思いました。
- ダイソーで購入したイヤホンマイクを使ってみましたが、UDトークの音量に反応する輪っかが赤色になるくらい拾っていました。
- 外国語翻訳がリアルタイムで行われるのは、外国語が良くわからない私にとっては非常にありがたく素晴らしいと感じました。
日本以外の国にリーチできると良いのは間違いないと思います。
まずは、視聴者が楽しめる動画を作らないと駄目だと思うので、翻訳APIを無駄撃ちしないように母国語設定のみの字幕を出した動画を作って練習したいと思います。
コメント