VRChatのリップシンクはボタン押していくだけで簡単に設定できるって本当？
Pumkins Avater Toolsを使えば全部の設定欄を１ボタンで埋めてくれるって本当？
こんな疑問に答えます。
僕はVRoidで漫画が作れるiPhoneアプリComicamを開発して公開中、自作の3Dモデルは400DL以上されています。
そんな僕が解説していきます。
作業環境
Unity 2017.4.15f1
VRCSDK-2019.04.14.12.31
Blender 2.79a
Cats Blender Plugin 0.13.2
Windows10
VRChatのリップシンクを解説【ボタンを押していくだけで一瞬です】
BlenderのCats Blender Pluginでリップシンクのシェイプ（口の形状）を作成して、その後にUnityで設定するという流れです。
Cats Blender Pluginの使い方の全体の流れはこちらで解説しています。
» Cats Blender Pluginの使い方【１ボタンで最適化・詳細設定も可能】
VRChat目的ではなくてUnity内完結でリップシンクを設定する時に便利なOculus Lipsync Unityはこちらで解説しています。
» Unityのリップシンクを解説【口の形を発音ごとに選択します】
Visemesを作成する
Visemes（ヴァイソメス）とは視覚的な唇の動きのことです。
» 参考：https://en.wikipedia.org/wiki/Viseme
AA・OH・CHの３つの発音に対応する口の形をここで登録します。
最新バージョンではすでにA・U・Iが自動で入っています。
Create Visemesを押して、この３つから他の発音の口の形も生成します。
Shape Key Mix Intensityで強さ調整
とりあえず１で問題なさそうです。
ただ、キャラによってはもう少し大げさに口を開かせてもいいのかなと思います。
VRC Avatar Descriptorのリップシンクの設定欄を表示させる
Unity側でVRC Avatar Descriptorの欄を設定していきます。
VRC Avatar Descriptorの追加の仕方はこちらで解説しています。
» VRoidモデルをVRChatでアバターとして追加する方法【アップロード】
Auto Detect（自動検出）を押します。
リップシンクの欄でVise Blend Shapeを選択します。
Face Meshの部分に編集中のモデルのBodyを選択します。
左サイドバーからドラックしてくると簡単でわかりやすいです。
Bodyが入ると各発音記号のViseme欄が出現します。
Pumkins Avater Toolsで一気に自動でリップシンクの項目を埋める
15個のViseme欄を全部クリックで指定していると5分くらいかかって面倒ですが、プラグイン使うと一瞬です。
Pumkins Avater Toolsのメニューを出す
Pumkins Avater ToolsがUnityのPluginsのフォルダに入ってるか確認します。
Pumkins Avater Toolsを含めた必要ツールのインストール方法はこちらの記事にまとめています。
» Cats Blender Pluginのインストール【他の必要ツールも一気に準備】
Tool＞Pumkin＞Avatar Toolsでメニューを出します。
Fill Visemesを押す
このウインドウが開くので、Avatarの欄で編集中のモデルを選択して、Fill Visemesを押します。
一瞬ですべてのViseme欄が埋まりました。
これで完了です。
VRChatのリップシンクについて知っておきたいこと【声に反応して動きます】
実際に動かしてみるとこんな感じです
VRChat内では音声に反応して口が動いてくれます。
大きな声ではっきり喋ると口も大きくなります。
まばたきも合わせると、かなり生きてる感じになりますね。
VTuberをやるにも十分なレベルだと思います。
各発音記号の理想の唇の形の一覧
https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-ovrlipsync-viseme-reference/https://developer.beta.oculus.com/documentation/native/audio-ovrlipsync-viseme-reference/?locale=ja_JP
Oculusのこちらのページに各発音記号のVisemeがわかりやすく載っています。
これを参考により突き詰めていくことも可能そうです。
オリジナルの口の形の作成はVRMをUnityでブレンドシェイプのパラメーター調整する画面があります。
ただ口の形を大幅に独自に変えたい時はUnityでいじるよりもBlender側でCats Blender Pluginで作成した後に個別の口のシェイプキーを編集しておくのがいい気がします。
というわけで今回は以上です。
自分が女の子になって喋ってるの見るとなんか感動します。
