イラスト1枚から、じぶんのVTuberモデルを作って配信するまでの手順をまとめました。
正面に近い全身または上半身のイラストから、リグ入りの3Dキャラクターを自動生成します。画像がなくても、特徴を文章で書けば生成できます。
マイクで話すと声から母音(あ・い・う・え・お)を推定して口が動きます。モーションキャプチャーや追加機材は不要です。
音声認識と表情切替はPC内のローカルAIが行います。発話内容に合わせて表情差分が自動で切り替わります。
「手を振る」などの動きを文章で指示して短い動画を生成。配信中、発話内容や待機状態に合わせて自動で再生されます。
「モデル生成/設定」モードで下の5フェーズを順に進め、最後に「配信」モードでキャラを動かします。フェーズは画面左の「制作フェーズ」からいつでも行き来できます。
起動するとホーム画面に2つのモードが並びます。キャラを作る・調整するときはモデル生成/設定、作ったキャラで配信するときは配信へ進みます。


入力画像を1枚えらんで「3D生成を開始」を押すだけです。正面に近い全身・上半身のイラストがおすすめです。生成には800ポイント(有料)を使います。






表情テンプレート(笑顔・怒り・悲しみなど)をえらんで「表情を生成」を押すと、顔差分と口パク用の口形(閉じ・あ・い・う・え・お)をまとめて自動生成します。1セットにつき200ポイント(有料)を使います。



実際の配信画面をプレビューしながら、キャラの映り方を決めます。背景はグリーンバックが既定なので、OBSでクロマキー合成する前提のセッティングがそのまま作れます。


「手を振りながら軽く会釈する」のように動きを文章で指示して、キャラの短い動画を生成します。生成した動画は配信画面でキャラに重ねて自動再生されます。1秒あたり85ポイント(有料)で、5秒なら425ポイントです。



グリーンバックのまま配信してOBS側で合成するほか、アプリ内の背景に差し替えることもできます。同梱の背景と、手持ちの画像の読み込みは無料です。AIで背景を作る場合は60ポイント(有料)を使います。動画は背景ごとに保存されます。

ホームに戻って配信モードへ。キャラをえらべば配信画面が立ち上がります。あとはマイクで話すだけで、口パク・表情切替・動画再生がぜんぶ自動で動きます。




方法は2つあります。「オプション」の OBS連携を使う方法が簡単で、アプリのUIも映り込みません。
http://127.0.0.1:58090/)を「URLをコピー」で写す3Dモデル生成は数分〜十数分かかります(進捗と工程が画面に表示されます)。表情生成・動画生成もそれぞれ数分程度です。生成中は待つだけで、完了するとダイアログでお知らせします。
クラウドで実行される生成機能で消費する有料のポイントです。3Dモデル 800pt / 表情セット 200pt / 背景 60pt / 動画 1秒あたり85pt / 入力画像を特徴から生成 25pt。残高は画面右上に表示され、アプリ内のショップから購入できます。配信そのもの(口パク・表情切替・動画再生・OBSへの出力)はポイントを消費しません。生成がシステム側の不具合で失敗した場合は自動で返還されます。
配信中の音声認識と表情・動画の選択はPC内のローカルAIで処理されます。
配信ステータスの「マイク」がONになっているか、入力デバイスのプルダウンで正しいマイクがえらばれているかを確認してください。macOSの場合はシステム設定でアプリにマイク権限が必要です。
ホームの「モデル生成/設定」→「保存済み選択」で、過去に作成したキャラを画像付き一覧からえらんで再開できます。
掲載している画面は開発中ビルドのものです。仕様は変更される場合があります。