セリフに合わせ口の動きや表情を自動生成――セガ「Magical VEngine」

セガは、3D CGアニメーションなどでセリフに合わせた口や表情を自動作成するフェイシャルアニメーション用プラグイン「Magical VEngine」のプライベートカンファレンスを開催し、Magical VEngineの詳細な仕様を解説した。

[平澤寿康，ITmedia] PC用表示関連情報

Magical VEngine。音声を入力すると、自動的にフェイシャルアニメーションが作成される

　セガが開発した「Magical VEngine」は、3D CGにおけるフェイシャルアニメーションの作成を大幅に省力化するためのプラグインだ。

　一般的に、3D CGでキャラクターがしゃべっているアニメーションを作成する場合、そのキャラクターの顔の3Dモデルを用意し、セリフのタイミングに合わせて口の動きや表情を手作業で付けていく必要がある。そのため、3D CGムービー作成にはかなりの労力や時間がかかってしまう。

　それに対しMagical VEngineを利用すれば、しゃべらせたいキャラクターの口や表情のパターンを数種類用意しておくだけで、セリフに合わせて自動的に口の動きや顔の表情が作成される。これにより、3D CGムービーの作成が大幅に省力化されるとともに、制作時間も大幅に短縮できるとしている。

　Magical VEngineを利用したフェイシャルアニメーション作成の流れは次の通り。まず、しゃべらせたいキャラクターの顔の標準となる3Dモデル（表情なし）を用意するとともに、母音（あ、い、う、え、お）発音時のモデルをデータベースとして用意する。次に、そのキャラクターにしゃべらせたいセリフを録音した音声ファイルを指定。そして、アニメーション作成ボタンを押すだけで、その音声ファイルが自動的に解析され、音声に合わせて口の動きや表情のアニメーションが自動的に作成される。つまり、最低6つの表情モデルを用意するだけで、自動的にフェイシャルアニメーションが作成されるのである。

　より自然なアニメーションを作成するには、母音だけでなく子音発声時のモデルを用意するなど、より多くのモデルを用意した方がいいようだが、それでも最低たった6つの表情モデルを用意し、音声を指定するだけで自動的にフェイシャルアニメーションが作成されるというのは、かなり驚きだ。

　また、自動生成されるのは口の動きだけでなく、目や眉の動き、まばたきなども含まれる。さらに、音声から「怒り」、「悲しみ」、「喜び」、「驚き」といった感情を読み取り、その感情に応じた表情までも自動的に作成することも可能となっている。

あらかじめ用意した発音モデルを利用してアニメーションが作成される。発音モデルは、最低で標準の表情と母音発音モデルの6パターンがあればいい

言語に制約はなく、キャラクターも人間以外にも応用できる

　しかも、この一連の作業は非常に短時間に完了する。今回開催されたプライベートカンファレンスでは、実際に人間の顔の3Dモデルを用意し、8文字程度のセリフの入った音声ファイルを利用したフェイシャルアニメーション作成のデモが行われたが、アニメーション作成ボタンをクリックしてアニメーションが作成されるまでにわずか1秒ほどしかかかっていなかった。もちろん、口の動きはセリフにピッタリ合っており、違和感もかなり少なかった。

　実際には、一部セリフと口の形が合っていない部分もあった。音声の解析自体は精度が70～80％ほどだそうで、場合によっては修正が必要な場合もある。しかしそういった場合でも、合っていない部分に正しい発音モデルを指定していくだけと、非常に簡単に修正できるようにもなっている。

　さらに、利用できる言語が特定されていないという点も大きな特徴だ。カンファレンスでは、日本語、英語、スペイン語を利用したフェイシャルアニメーション作成のデモが行われたが、基本的に利用する言語に制限はない。しかも、各言語ごとに言語を学習させる必要がなく、データベースとなる表情モデルも、多くを他言語間で流用可能となっている。例えば、同じ表情モデルで、日本語・英語双方の音声でフェイシャルアニメーションを作成できるのである。

　このように、Magical VEngineを利用することで、従来まではCGクリエイターが発音に合わせて手作業でフェイシャルアニメーションを作成する必要があったのが、かなりの部分が自動で作成されるようになり、省力化と時間短縮が可能になるというわけだ。

　そして、このMagical VEngineは、実際のゲーム開発の場でもすでに利用されている。セガでは、「ファンタシースターユニバースイルミナスの野望」や「ファンタシースターポータブル」、「戦場のヴァルキュリア」、「龍が如く」シリーズなどで採用しているそうだが、それ以前までのムービー作成と比較して、作業時間が大幅に短縮できたそうだ。

「ファンタシースターポータブル」に登場する主人公のパートナー「ヴィヴィアン」も、Magical VEngineを利用してフェイシャルアニメーションが作成されているそうだ

開発者のコメントでも、Magical VEngineを利用することによる省力化や時間短縮の効果が強調された

　Magical VEngineは、我々ゲームプレイヤーにとって直接関係のあるツールというわけではない。とはいえ、短時間でクオリティの高いフェイシャルアニメーションが作成できるようになるということは、ソフト開発にかかる時間も短縮されるわけで、ひいては早く手元にゲームが届くようになると考えると、開発者だけでなくプレイヤーにとっても利益をもたらすツールであると考えていいだろう。

　プレイステーション 3やXbox 360の登場以降、ゲーム開発に時間やコストがかかるようになっているが、こういったツールの登場によって開発の省力化や時間短縮、コスト削減が実現され、クオリティの高いゲームが続々登場するようになることを期待したい。

　このMagical VEngineは、「Autodesk Maya」、「Autodesk 3dsMax」、「SOFTIMAGE|XSI」に対応するプラグインとして提供される。価格は20万7000円（2008年3月末までは15万5400円）で、ボーンデジタルから発売されている。