MMD-PVから作詞作曲までやる、ボカロPしんりんの製作ノート

ボーカロイド、VRなど音楽と映像の作成方法と講座

VRChatのリップシンクを解説【ボタン押すだけで簡単に動かせます】

投稿日:2019年5月8日 更新日:

VRChatのリップシンクはボタン押していくだけで簡単に設定できるって本当?
Pumkins Avater Toolsを使えば全部の設定欄を1ボタンで埋めてくれるって本当?
こんな疑問に答えます。

僕はVRoidで漫画が作れるiPhoneアプリComicamを開発して公開中、自作の3Dモデルは400DL以上されています。
そんな僕が解説していきます。

作業環境

Unity 2017.4.15f1
VRCSDK-2019.04.14.12.31
Blender 2.79a
Cats Blender Plugin 0.13.2
Windows10

VRChatのリップシンクを解説【ボタンを押していくだけで一瞬です】

BlenderのCats Blender Pluginでリップシンクのシェイプ(口の形状)を作成して、その後にUnityで設定するという流れです。

Cats Blender Pluginの使い方の全体の流れはこちらで解説しています。
» Cats Blender Pluginの使い方【1ボタンで最適化・詳細設定も可能】

Visemesを作成する

Visemes(ヴァイソメス)とは視覚的な唇の動きのことです。
» 参考:https://en.wikipedia.org/wiki/Viseme

AA・OH・CHの3つの発音に対応する口の形をここで登録します。
最新バージョンではすでにA・U・Iが自動で入っています。

Create Visemesを押して、この3つから他の発音の口の形も生成します。

Shape Key Mix Intensityで強さ調整

とりあえず1で問題なさそうです。
ただ、キャラによってはもう少し大げさに口を開かせてもいいのかなと思います。

VRC Avatar Descriptorのリップシンクの設定欄を表示させる

Unity側でVRC Avatar Descriptorの欄を設定していきます。

VRC Avatar Descriptorの追加の仕方はこちらで解説しています。
» VRoidモデルをVRChatでアバターとして追加する方法【アップロード】

Auto Detect(自動検出)を押します。

リップシンクの欄でVise Blend Shapeを選択します。

Face Meshの部分に編集中のモデルのBodyを選択します。
左サイドバーからドラックしてくると簡単でわかりやすいです。

Bodyが入ると各発音記号のViseme欄が出現します。

Pumkins Avater Toolsで一気に自動でリップシンクの項目を埋める

15個のViseme欄を全部クリックで指定していると5分くらいかかって面倒ですが、プラグイン使うと一瞬です。

Pumkins Avater Toolsのメニューを出す

Pumkins Avater ToolsがUnityのPluginsのフォルダに入ってるか確認します。
Pumkins Avater Toolsを含めた必要ツールのインストール方法はこちらの記事にまとめています。
» Cats Blender Pluginのインストール【他の必要ツールも一気に準備】

Tool>Pumkin>Avatar Toolsでメニューを出します。

Fill Visemesを押す

このウインドウが開くので、Avatarの欄で編集中のモデルを選択して、Fill Visemesを押します。

一瞬ですべてのViseme欄が埋まりました。
これで完了です。

VRChatのリップシンクについて知っておきたいこと【声に反応して動きます】

実際に動かしてみるとこんな感じです

VRChat内では音声に反応して口が動いてくれます。
大きな声ではっきり喋ると口も大きくなります。

まばたきも合わせると、かなり生きてる感じになりますね。
VTuberをやるにも十分なレベルだと思います。

各発音記号の理想の唇の形の一覧

https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-ovrlipsync-viseme-reference/
Oculusのこちらのページに各発音記号のVisemeがわかりやすく載っています。
これを参考により突き詰めていくことも可能そうです。

オリジナルの口の形の作成はVRMをUnityでパラメーター調整するなどで可能そうです。
これに関してはまた別記事で書きたいと思います。

というわけで今回は以上です。
自分が女の子になって喋ってるの見るとなんか感動します。

関連記事VRChatのアバターのマテリアルを解説【統合して1つにします】

関連記事VRChatのEye Trackingを解説【プルダウン選択するだけ・テスト可能】

-Unity, VRchat

Ad-336px-stinger8

Ad-336px-stinger8

Copyright© MMD-PVから作詞作曲までやる、ボカロPしんりんの製作ノート , 2019 All Rights Reserved.