ウェブカムだけで顔の向き・表情を高速・高精度に追跡するアバターシステム

---

　慶應義塾大学 満倉靖恵准教授のグループは、一般的なPCとUSBカメラで、人間の顔の向きや表情の変化を高速・高精度に計測する手法を開発しました。

趣味でCGアニメーションを制作している方やWeb対話システムなどで自分の顔の代わりにこういったキャラクターを提示して対話に使うといったもの、もしくはイベントなどでキャラクターをリアルタイムに動かしたりといったことも、パソコン1台とカメラ1台用意するだけで簡単にできますので、そういったことに応用できると考えています。

　顔の検出・追跡には、時系列信号処理の手法を応用し、目や鼻、口などに配置された特徴点を高速・高精度に追跡しています。画面上の白い点が顔の追跡に利用した特徴点、赤い線は顔の向きを表わしており、顔の向きや口の動きに合わせて適切に顔を検出していることが分かります。

人間の顔の動きに合わせて、アルゴリズムを逐次更新していくようなものを使用していますので、非常に高速・高精度に顔を追いかけることができるというのが、このアバターシステムの基礎となっている技術です。

　さらに、表情の変形の仕方を解析することで、顔の向きだけでなく、眉や口の動き、笑い、怒り、驚きなどの表情を表現することもできます。

　また、アバターとしての活用の他、人間の顔の変化を読み取って動作するゲームなどへの応用も考えられています。

顔にマーカを付けるモーションキャプチャを使ったりすると、一般の人では用意することができなかったりしますので、そういった意味ではこういったモデルをリアルタイムに自在に動かすという技術は今まで無かったものだと思います。

　今後は、一般PC向けのモーション生成ソフトウェアの開発を目指すほか、さまざまな分野への応用や実装を進めていく予定です。

関連キーワード

慶應義塾大学 | アバター | PC | カメラ | ソフトウェア | 大学 | モーションキャプチャ | 画面 | 初音ミク