UE5でVtuberになれるLive Link face Blenderでモデルのセットアップを行います。シェイプキーの追加、ボーンの追加が必要になります。
BlenderでUE5で動くことのできるモデルの設定、調整を行います。
今回はBlenderで作られているモデルにシェイプキーを追加しLive Link faceで動くモデルのセットアップをしていきます。
BlenderからUE5に送る方法は公式配布のSend to Unrealを使用します。
Sned to unrealの使い方,インストール方法はこちら
LiveLinkfaceで顔を動かすにはキャラクターにシェイプキーが必要になります。
また、シェイプキーの命名が決まっているのでその通りにすればキャラクターを動かすことができます。
blenderでシェイプキーの作成を最大63個作ります。
blenderのシェイプキーの命名はFace AR Sampleから取って来ました。Basisを除き63あります。
Basis
browDownLeft
browDownRight
browInnerUp
browOuterUpLeft
browOuterUpRight
cheekPuff
cheekSquintLeft
cheekSquintRight
eyeBlinkLeft
eyeBlinkRight
eyeLookDownLeft
eyeLookDownRight
eyeLookInLeft
eyeLookInRight
eyeLookOutLeft
eyeLookOutRight
eyeLookUpLeft
eyeLookUpRight
eyeSquintLeft
eyeSquintRight
eyeWideLeft
eyeWideRight
jawForward
jawLeft
jawOpen
jawRight
mouthClose
mouthDimpleLeft
mouthDimpleRight
mouthFrownLeft
mouthFrownRight
mouthFunnel
mouthLeft
mouthLowerDownLeft
mouthLowerDownRight
mouthPressLeft
mouthPressRight
mouthPucker
mouthRight
mouthRollLower
mouthRollUpper
mouthShrugLower
mouthShrugUpper
mouthSmileLeft
mouthSmileRight
mouthStretchLeft
mouthStretchRight
mouthUpperUpLeft
mouthUpperUpRight
noseSneerLeft
noseSneerRight
eyeBlinkLookDownLeft
eyeBlinkLookDownRight
eyeBlinkLookUpLeft
eyeBlinkLookUpRight
eyeBlinkLookOutLeft
eyeBlinkLookInRight
eyeBlinkLookInLeft
eyeBlinkLookOutRight
eyeBlinkSquintLeft
eyeBlinkSquintRight
eyeBlinkCheekSquintLeft
eyeBlinkCheekSquintRight
全て設定するのはかなり大変なので、
Junさんの記事を参考に必要最低限で作成していきます。
シェイプキーの一覧動と、動作は公式のサンプル「Face AR Sample」もあるので、一度確認することをおすすめします。
UE5でFace AR Sampleは(2023年1月現在)使えないので動作確認はできませんが、ダウンロードしたプロジェクト内にFBXがあるのでシェイプキーの確認ができます。
このFBX（KiteBoyHead_JointsAndBlends.fbx）はサンプルをダウンロード後のプロジェクトフォルダ内にあります。
キャラクターにシェイプキーを付けていきます。
シェイプキーをつけるにあたって、テストできるキャラクターがない場合を考慮しblendファイル、自作スクリプトファイルを配布します。
vroidを使えば簡単に作成ができるのでそれでも大丈夫です。
必要であれば、キャラクターとスクリプトの配布からダウンロードください。
shapekeys.txtとue5shapehelper.pyの二つのファイルを\scripts\addonsフォルダー内に直接追加します。
zipからのインストールは非対応ですので予めご了承ください。直接ファイルの追加方法が分からない場合はこちらplugin追加方法を確認してください。
プラグインの表示名はue5shapehelperです。
shapekeys.txtに生成するシェイプキー名は入っています。
シェイプキーの追加、削除が可能です。
シェイプキーのmirrorは文字Leftを基準にしています。
ue5faceからボタンが表示されます。
シェイプキーLeftをベースにシェイプキーのRightを作成します。
LeftシェイプキーがあるとRightのシェイプキーを全て作成します。
Rightのシェイプキーが既にあった場合はコピーされませんので。再度コピーする場合はRightを削除してください。
UE5のLiveLinkFace用のシェイプキーRightを除くもの全てを生成します。
これを実行前にBaseのシェイプキーは必ず初めに作成してください。
選択中のシェイプキーの値を1または0に設定します。
動作確認用です。
選択中の頂点をBaseのシェイプキーの値に戻します。
一部の頂点だけ元通りに戻したい時に使います。
Baseのシェイプキーを基準にしているため必ず名前をBaseに設定してください。
ここから先ほど紹介したプラグイン、blendファイルを使ってシェイプキーを追加していきます。 お手本はFace AR Sample、私が作った確認用または、Junさんを参考に作って見てください。
1.ベースのシェイプキーの名前の変更 （既にある場合）元となるシェイプキーの名前をBaseという名前に変更します。
2.create_shapkyesを実行します。
実行するとBaseと最低限必要となる11個(Rightを除いて)作成されます。
3.お手本を元にLeftのシェイプキーを作成していきます。
4.Leftからコピーする
Shape_mirrorを実行し、Rightのシェイプキーを作成します。
シェイプキーは合計18個+Baseになるはずです。
Blenderでアーマチュアを追加します。 手動でFBXインポートではSkeletal Meshを選択できますが,公式配布のSend to UnrealだとStatic Meshでしかインポートできません。そのためアーマチュアを追加します。これはとりあえず存在していれば良いのでなんでも大丈夫です。
※Skeletal MeshとStatic Mesh?
一言で(Skeletal Mesh)動くものと、(Static Mesh)動かないものです。
Skeletal Meshであれば、アニメーションを動かせたり、今回のように、シェイプキーで動かすことができます。
Sned to unrealを使います。使い方,インストール方法はこちら
アーマチュア設定後BlenderのExportコレクションに必要な物を入れます。
ここではfaceとアーマチュアが入っています。
正常にインポートされていれば、次のようにモーフターゲットが表示されます。
スライダーをいじれば表情が変化します。
表情はボーンで作ったんだけど...シェイプキーの命名が違い変更したくないんだけど...って方はおかずさんが非常に分かりやすいのでそちらを参考にしてください。
UE5のpython等の設定ができていないかも UE5に送りたい物をExportコレクション内に追加してください。
UE5でblenderで作成したものを全て削除し、再度Exportを押してみてください。 Skeletal Meshが無い場合は、モディファイアが追加されているかどうか、アーマチュアがExportコレクションに含まれているかを確認してください。
Blenderでシェイプキーを追加し、UE5までとりあえずもって来ることができました。 あとはUE5側の設定と、iphoneの設定です。あと少しです。
質問や、間違いがありましたら、お気軽にどうぞ
※お名前とコメントの内容を入力してください。
※全てこのブログ上に公表されます。
※許可なく管理者によって修正・削除する場合がございます。 詳しくはプライバシーポリシーを参照ください
