iPhoneやiPadとVBridgerを使ってLive2Dモデルの表情を滑らかに動かす話です。
こんにちは。
のちたままです。
今回はLive2DモデルをVBridgerをVtubeStudioに接続する方法についてお話します。
VBridgerとは？
VBridgerはiPhoneなどのフェイストラッキング機能を用いてLive2Dモデルの動きを最大限に引き出すアプリケーションです。
Steamにて購入が可能です。
僕のモデルの場合、VBridgerを使うと口の動きが非常に滑らかになります(下記動画参照)。
注意点として、Live2Dモデルを作ってもらう際にVBridgerへの対応が必要らしいです。
VBridgerの滑らかな動きに対応できるようにLive2Dのパラメータやイラストのレイヤーを調整しているのだとは思いますが、詳しくはわかりません。
また、VBridgerはwebカメラの対応はしていないようなので、使う場合にはiPhoneやiPadが必要なようです。
※VBridger Editorの方はwebカメラに対応しているかもしれませんが、詳細はわかりません。
※また、webカメラが使えたとしてもiPhone等の性能には及ばないことや、パラメータの知識が無いと扱えないようなのでおすすめしません。
通常、Live2Dモデルを使って配信等をするとなると、webカメラやスマートフォンをVtubeStudioに接続して使うことが基本的な方法になると思います。
VBridgerを使う場合は、カメラとVtubeStudioの間にVBridgerを介します。
つまりカメラ→VBRidger→VtubeStudioという接続になります。
次はVBridgerへの接続に対応しているiOSアプリについて紹介します。
iPhone/iPadで使えるフェイストラッキングアプリ
続いて、iPhone/iPadでVBRidgerに接続できるフェイストラッキングアプリの紹介をします。
対応アプリは以下の3つです。
- VtubeStudio
- faceMotion3D
- iFacialMocap
それぞれの比較表を載せておきます。
| VtubeStudio(Pro) | IFacialMocap | faceMotion3D | |
|---|---|---|---|
| 価格 | 0円(Proは3500円) | 990円 | 接続先による(3500円～) |
| 発熱抑制 | ○(配信モード) | × | × |
| 体験版 | ∞ | 4秒 | 10秒 |
この3つのうちならVtubeStudioを使うことになるかと思います。
設定の手軽さで言うとiFacialMocapですが、VtubeStudioも一度設定してしまえば難しくないので、VtubeStudioで良いと思います。
後ほど接続方法については説明します。
faceMotion3DはBlenderなど他のアプリへの接続を考えているのであれば選択肢に入れても良いと思います。
※Androidの場合はVtubeStudioまたはMeowfaceというアプリになります。無料で使えますが、iPhone/iPadのような滑らかなトラッキングができるかはわかりません。
※僕が持っているAndroidスマートフォンでVtubeStudioを試した際には、iPhone/iPadのように滑らかに動きませんでした(恐らくiPhone/iPadのようなトラッキング機能が無いため)。
iPhone/iPadを選ぶ際の注意点
iPhoneやiPadを選ぶ際の注意点として、VBridgerへ対応しているかどうかを見る必要があります。
現状、コミュニティ内の情報を見る限り、A12 Bionic以降のプロセッサを搭載しているiPhoneまたはiPadが必要そうです。
※動作確認が取れている機種のリストが見当たらないので動作保証はありません。
A12 Bionic以降のプロセッサを搭載したiPhone/iPadは以下の通りです。
- iPhone: iPhone XR,XS以降(iPhone XはA11のため含まない)
- iPad: iPad(第8,9,10世代)、iPad Air(第3,4,5世代)、iPad mini(第5,6世代)、11.9インチiPad Pro(第1,2,3,4世代)、12.9インチiPad Pro(第3,4,5,6世代)
※2023/7現在の情報
僕はiPhone XRとiPad mini 6を持っていますが、両方とも動作確認がとれています。
接続の流れ
接続としてはiPhone/iPadのトラッキングアプリ→VBridger(PC)→VtubeStudio(PC)という流れです。
ここではトラッキングアプリとしてVtubeStudioとiFacialMocapについてそれぞれ紹介します。
VBridgerとVtubeStudioを立ち上げているPCと同じネットワーク内にiPhone/iPadがある前提で話します。
(PCが有線、iPhone/iPadがWi-fiで大丈夫です。)
VBridgerの画面の見方
①：カメラとして使用するiPhone/iPadのIPアドレスを打ち込む欄
②：使用するアプリの選択(iFacialMocap,FaceMotion3D,MeowFace,VtubeStudioから選ぶ)
③：①と②の項目を埋めたら押す(iPadやAndroidでもここを押す)
④：VtubeStudio(PC)と接続するボタン。「接続する」→「送信を開始する」の順に押す。
※送信を開始しないとLive2Dモデルは動きません。
VtubeStudio(iPhone/iPad)の場合
iPadの画面を基に説明します。
画面をダブルタップして設定画面(歯車アイコン)を開き、一番下までスクロールしてください。
すると下記画像のようにサードパーティーPCクライアントというのが出るので、アクティブにしてください(②)。
「IPを示す」ボタンを押して表示されるIP(v4の方で大丈夫です)をVBridgerの画面左上に入れてください。
その後、非常に見づらいのですが下記画像の①の位置にポート番号の設定画面がある(「顔」,「設定」の2項目)ので、設定に変えてください。
iPhone/iPad側のVtubeStudioにある設定画面(上記画像②)のステータスという文字の下に「オン(何かしらの数字)」という文字が出てくると思います。
その数字部分をVBridger側のポート番号(下記画像②)に入れてください。
少しすると接続されます。
※上手くいかない場合は、IPアドレスやアプリへの許可などを確認してください。
接続されたら、iPhone/iPad側でカメラのキャリブレーションをして、PC上のVBridgerで顔が動いていることを確認してください。
※上記画像の「設定」を「顔」にするのを忘れないでください。
iFacialMocapの場合
アプリを立ち上げると画面上部にIPアドレスが表示されます。
そのアドレスをVBridgerの画面の左上(①)に打ち込んでください。
打ち込んだら②でiFacialMocapを選択し(②)、iPhoneに接続(③)を押してください。
VBridgerからVtubeStudio(PC)への接続
VBridgerとVtubeStudio(PC)にはVtubeStudioのAPIを許可する必要があります。
画面をダブルクリックして設定画面(歯車アイコン)を開いて、下の方にスクロールしてください。
下の画像のようにAPIの起動というボタンが出てくると思います。
これをONにしてVBridgerとの接続を行います。
VBridger側でVtubeStudio(PC)に接続しようとする(VBridgerの④の位置)とVtubeStudio(PC)側で接続許可を求めるポップアップが出ると思います。
それを許可してください。
VBridger側でVtubeStudio(PC)へ接続と送信を開始すればVtubeStudio(PC)上のモデルが動くはずです。
一度許可しておけば、次回からはVBridger側で接続ボタンを押せば自動的につないでくれます。
最後に
VBridgerは滑らかな動きができる便利なプラグインですが、機材まわりや接続についてわからないことがあるかと思います。
この記事が参考になれば幸いです。
もしわからないことがあればご連絡ください。
この記事へのコメントでも良いですし、TwitterやSNS、Twitchの配信でも大丈夫です。
僕がわかる範囲でお伝えしますのでお気軽に。
