ディズニーが“顔面プロジェクションマッピング”を開発 人間の表情に合わせほぼリアルタイムに変化

ピエロやゾンビに簡単に変身できる？

[黒木 貴啓，ねとらぼ]

　ディズニーの研究部門「ディズニー・リサーチ」が、人間の表情をリアルタイムで増幅させるプロジェクションマッピング技術を発表しました。ピエロやゾンビといった異なる顔の表情をパフォーマーの顔面に投影し、その表情がパフォーマーの顔の動きに応じてほぼ遅れることなく変化するシステムになります。

顔面プロジェクションマッピングがさらに進化？

　動画では、ピエロの顔を投影したパフォーマーが無表情からパッと満面の笑みを見せると、ピエロの顔もほぼ誤差なく追随します。同時に口角やおでこのシワを誇張し、本来の顔よりもさらに笑ったような表情に。そこから徐々に「バットマン」のジョーカーのような顔に切り替わったりもします。メークの手間が省けるだけでなく、プロジェクションマッピングならではの“変装”を可能にしているようです。

表情の読み取りと投影に使う装置

読み取りから投影までの流れ

さまざまな角度から顔に表情を投影する

普通の表情から

笑顔に！　より笑ってみえるよう、シワもくっきり投影される

さらにこのような無表情のピエロから……

叫ぶような顔になると同時に、いきなりジョーカーの顔に変身！

　この“顔面プロジェクションマッピング”の分野において、パフォーマーの表情を汲み取る際に物理的追跡マーカを必要としないのは今回が初めてとのこと。また今回の技術ではいかにレイテンシ（データ転送を要求してから結果が返送されるまでの遅延時間）を低くできるかが重要ですが、こちらも最適化したCPUとGPUのプロトタイプで処理能力の評価を繰り返すことで、さまざまなパフォーマーやパフォーマンスの、あらゆる表情、動きの速さに、低いレイテンシを出すことに成功したそうです。

　今回の技術は、大阪大学、米プリンストン大学、スェーデンのチャルマース工科大学と共同開発したもの。どのようなエンタテイメントの場に導入されていくか今後が期待されます。

（黒木貴啓）