Twitchのストリーマーがゲーム配信をしていて定期的なメッセージや、翻訳メッセージが表示されているのでどうなっているのか調べてみた。
チャットは、IRCがベース。
TwitchでBot用アカウントを作って、oauthパスワードを発行。
Readを一つのスレッドでループして、新規メッセージを読む
send, joinで接続。
参考資料
Writing a Twitch Bot From Scratch in C# (.NET Core) | by Bradley Saunders | The Startup | Medium
タイトルの通りWin32 COM C++では、SAPIの音声リストからCeVIOのボイスの選択はS_OKで成功するが、Speakで “REGDB_E_CLASSNOTREG Class not registerd” エラーが出る。
OSにバンドルされているSAPIのボイスのSelect, Speakではエラーにはならない（正しい動作）ので、エラー処理でCeVIOを除外するしかない。（SpeakがFailした場合、最後にS_OKだったボイスをセット）今のところ、”CeVIO”がボイス名に含まれているか、Initializeの時の第一声テスト時にFailするボイスを自動選択しないようにするコードを追加。
このコードは、デスクトップ上に時刻を表示するアプリで、Win32 C++ COMでUIがD2Dベース。かれこれ5年くらいコードは触っていなかった。最近、CeVIOをインストールしたときから、Speechできなくなっていた。D2DはWindows Animationで画像表示やエフェクト、移動等ができビジュアル面では高機能。コードはWin32 C++ なのでメモリアドレス、メモリのコピペ等の操作のコード直書きなのでパフォーマンスがいいけれど、CeVIOがこれでは対応できない。
多分、CeVIOのC++コードをDLLインポートすると、2つのアプリではAPIは呼べないはずだし。
とりあえず今回は、CeVIO AIのボイスを除外する方向で修正済み。
CeVIO AIのコードが使えそうになってきたのでページを公開しました。コードを公開する予定はありませんが、コードの使い方はこのブログで書いていこうと思います。
パッケージはアプリの完成度をみながら公開。あえてインストーラーは作りません。
UIはまだまだ改良の余地があるのでデザイン的なものも含めて今後アップデートしていきます。
ウェブスクレイピングが出来ると用途が増えると思うけど。どんな使い方ができるか今後追ってアップする。リアルタイムでTwitch上でアップできると編集とかしなくて時短できていいかな。
ご意見、用途のご相談お待ちしております。お仕事としても依頼受け付けております。よろしくお願いします。
追伸：最近はゲーム配信が出来ていない。夜中に起きてやるしかない。しかし、Twitchのチャットの自動音声返信まではまだ先が長い。
前回、CeVIO AIがSAPIではSelectVoiceした時点でエラーが出る件の続き。（SAPIでの読み上げは断念）
仕組みとしては、CeVIO AIでインストールされるDLL (CeVIO.Talk.RemoteService2.dll)から.NETアセンブリとしてAPIをコールする。APIコールからCeVIO トークエディタをプロパティ付きで起動してアプリから読み上げ(Speak)をする。できればDLLのAPIからアプリの起動なしで読み上げしてほしかった。（UIとか.NETとかメモリ食いでCPUパワーを使ってしまう）
さて置き、実装は単純なのでSAPIの部分を置き換えて、両方使えるようにするのがメインの作業。
インストールされているボイスはSAPI経由でGetInstalledVoicesで取ってくるサンプルがあるけれど、レジストリに登録されているボイス名とCastに設定する名前は一致していない。
SAPIに登録されるボイス名は、弦巻マキ、スターターパック（日本語、英語）の場合、CeVIO-AI-弦巻マキ（英語）とCeVIO-AI-弦巻マキ（日本語）（SAPI用レジストリ）。Castに設定する名前は、弦巻マキ（英）と弦巻マキ（日）。setting.cfgファイルに記述あり。しかし英語のsetting.cfgファイルは英語表記されていて、CeVIO DLLに含まれるAPI AvailableCastsのリストも一致しない。
.NETアセンブリとして登録する、dllの参照の追加元はC:\Program Files\CeVIO\CeVIO AI\CeVIO.Talk.RemoteService2.dllから。（CeVIOのサイトでは再配布はしないでねと書かれているので注意）
やってみて思い出した。メインにしたアプリが.NET COREで、CeVIOのサイトには明確にサポート外。これで30分くらい悩む。（参考にさせて頂いたサイトのコードのActivateでエラーが消えず）
結局.NETアプリで常駐するコマンドアプリにする。CMDバージョンと、Formバージョンで試作。すでに起動中の時にはIPC経由でイベントを発生させて文字列を渡してプログラムを抜ける。FormバージョンはUIにテキストを設定して読み上げボタンイベントを発生させる。
しかし、CeVIO自身の実装はいたって簡単。一度に読み上げる文字列の長さが200文字の制限以外はSAPIほど初期化の処理がすくなくて快適。逆に.exeにアセンブリを実装する前にファイルチェックをしたうえでAssemblyをコード上からインポートして実行する必要がある。これをやらないと、トークエディタがインストールされていないマシンではアプリは走らない。。。マイクロソフトのSAPIとも共存したい。
twitch, YouTube チャットを読み込んで自動応答してBotに使用。マイクロソフトの音声認識はもうちょっと制度を上げてほしい。認識精度悪すぎ。登録単語モードはほぼほぼつかえない。フリーワードモードは自由度高すぎで発音した単語が正しく認識されることはまずない。
とりあえず、SAPIでCeVIOがインストールされている時はVoiceCallCmd.exe、VoiceCallForm.exeを読み上げ文章をつけて実行する。今のところメールチェック、メールのタイトルの読み上げ、処理状況の読み上げはいつも通り読めている。
読み上げ中の場合は、読み上げテキストをキューに設定して、キューがなくなるまで繰り返す。
VoiceCallForm.exeには各種パラメータをつけて感情表現をできるようにする。その前に参考にさせてもらったサイトのコードは他のボイスエンジンとの互換性の為に、クラスにはAPIがすべて網羅されていないのでパラメータの数値（0－100）、感情値の設定をそのまま使えるようにクラスを作り直すことにする。
（コードは完成するまでは未公開）
CeVIO AIをSAPIから使ってみる。マイクロソフトのボイスから卒業できるか検証してみる。
CeVIO AIインストール前のSAPI VOICEのリスト。英語Zira、Davidと、日本語Harukaがインストールされている。
今回は、お買い得なスターターパック、エディタと日本語、英語がセットになった弦巻マキのダウンロード版を購入してみました。セットアップは簡単。だけどマイクロソフトにダウンロードしたExeの起動をブロックされたけれど無視（レポートも送らないよ）。許可してZipを自動展開して起動。MSIが起動されインストールされる。
インストールのステップは省きます。
日本語のボイスをインストールした状態で、SAPIのインストールは以下の通り。
エディタをインストールしていない状況ではExceptionがでる。(補足。結果から言うと、エディタをインストールしても結局同じエラーがでます）
スターターパックを購入した後、トークエディタのダウンロードは別でライセンスキーのみ提供される。トークディタ、ボイス、日本語、英語のライセンス認証しても、SelectVoiceで同じエラーがでる。
そして、コントロールパネルから音声合成のテストでエラーが出る。やっぱりプロテクトがかけられているのか。トークエディタでは使えている。
このままでは、マイクロソフトのボイスと共存もさせられないし。
こちらでは、CeVIOのdllからアセンブリ経由でAPIを呼ぶように推奨されている。SAPI5では動くみたいだけれど、Win10でSAPI5はもうないだろう。
多分SpeechSynthesizer.GetInstalledVoices APIに対応してVoiceリストを返せるようにしたけれど、TTSエンジンのDLLは提供しないということなのだろう。マイクロソフトのSpeechボイスのCLSIDはTTSエンジンのDLLが定義されている。CeVIOのCLSIDはダミー。SelectVoiceをCallした時点でエラーがでる。
あきらめて、.NET DLL API に変更。共存する時にはCeVIOのボイスは選択をスキップするしかない。
CeVIOのサンプルコードを使った結果は次回。
PS:記事には、Officeは32Bitだから動かないとかSAPI5のアプリだったら動くようなことが書かれているけれど今は、64Bit主流でSAPI5に戻りようがないし。Officeから使うのかは疑問だなぁ。