ウェブカムだけで顔の向き・表情を高速・高精度に追跡するアバターシステム
慶応大学が画期的なフェイシャルモーション技術を開発した。
慶應義塾大学 満倉靖恵准教授のグループは、一般的なPCとUSBカメラで、人間の顔の向きや表情の変化を高速・高精度に計測する手法を開発しました。
趣味でCGアニメーションを制作している方やWeb対話システムなどで自分の顔の代わりにこういったキャラクターを提示して対話に使うといったもの、もしくはイベントなどでキャラクターをリアルタイムに動かしたりといったことも、パソコン1台とカメラ1台用意するだけで簡単にできますので、そういったことに応用できると考えています。
顔の検出・追跡には、時系列信号処理の手法を応用し、目や鼻、口などに配置された特徴点を高速・高精度に追跡しています。画面上の白い点が顔の追跡に利用した特徴点、赤い線は顔の向きを表わしており、顔の向きや口の動きに合わせて適切に顔を検出していることが分かります。
人間の顔の動きに合わせて、アルゴリズムを逐次更新していくようなものを使用していますので、非常に高速・高精度に顔を追いかけることができるというのが、このアバターシステムの基礎となっている技術です。
さらに、表情の変形の仕方を解析することで、顔の向きだけでなく、眉や口の動き、笑い、怒り、驚きなどの表情を表現することもできます。
また、アバターとしての活用の他、人間の顔の変化を読み取って動作するゲームなどへの応用も考えられています。
顔にマーカを付けるモーションキャプチャを使ったりすると、一般の人では用意することができなかったりしますので、そういった意味ではこういったモデルをリアルタイムに自在に動かすという技術は今まで無かったものだと思います。
今後は、一般PC向けのモーション生成ソフトウェアの開発を目指すほか、さまざまな分野への応用や実装を進めていく予定です。
関連記事
- 未来のデッサン人形? 3Dモデルのポージングができる人型装置、ソフトイーサが開発
デッサン人形のような装置にポーズを取らせることで、コンピュータ上の3Dモデルに同じポーズを取らせることができる「QUMA」技術をソフトイーサが開発している。 - 3D&VR展:誰でも“かめはめ波”が打てるようになった?――ARアプリ「プラーナ」初公開
3D&VR展で、厳しい修行をしていない来場者たちが“かめはめ波”を連発していた。けしからん。でもなんだかオラ、ワクワクしてきたぞ。
Copyright(c) Digitized Information, Inc. All Rights Reserved.
-
「電車の中で見ちゃダメ」「笑ったww」 実家からLINE「子ヤギがすばしっこくて捕まらない」→送られてきた衝撃姿が320万表示!
-
誰も教えてくれなかった“裁縫の裏ワザ”が目からウロコ 200万再生のライフハックに「画期的」と称賛【海外】
-
小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
-
娘の給食の献立表を見たら…… 正体不明の“謎の料理名”が「これはわからんw」と話題に その意外な正体に納得!
-
プロ野球チップスでまた“不良品”流出 伊藤大海「176m」表記に続き…… カルビー謝罪「深くお詫び」
-
1年半ケージに引きこもっていたシャーシャー猫が、ある夜布団に入ってきて…… 感涙の行動に「まるで別猫」「こんな日が来るなんて」
-
メルカリで300円の紙モノセットを買ってみたら…… 出品者のあたたかな心遣いに「利益は考えていないんでしょうね」「見ててわくわくします」
-
子どもに高級キーボードのパーツを捨てられた → 公式の“先読みしすぎた対応”が話題「そういうこともあろうかと」
-
巨大深海魚のぶっとい毒針に刺され5時間後、体がとんでもないことに…… 衝撃の経過報告に「死なないで」
-
ダイソー「マルチ万能ほうき」が家事ラクの救世主 名前負け知らずの便利さに「これやばっ!!」「220円に驚き」の声
- 小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
- 富山県警のX投稿に登場の女性白バイ隊員に過去一注目集まる「可愛い過ぎて、取締り情報が入ってこない」
- 2カ月赤ちゃん、おばあちゃんに少々強引な寝かしつけをされると…… コントのようなオチに「爆笑!」「可愛すぎて無事昇天」
- 異世界転生したローソン出現 ラスボスに挑む前のショップみたいで「合成かと思った」「日本にあるんだ」
- 【今日の計算】「8+9÷3−5」を計算せよ
- 21歳の無名アイドル、ビジュアル拡散で「あの頃の橋本環奈すぎる」とSNS騒然 「実物の方が可愛い」「見つかっちゃったなー」の声も
- 1歳赤ちゃん、寝る時間に現れないと思ったら…… 思わぬお仲間連れとご紹介が「めっちゃくちゃ可愛い」と220万再生
- 業務スーパーで買ったアサリに豆乳を与えて育てたら…… 数日後の摩訶不思議な変化に「面白い」「ちゃんと豆乳を食べてた?」
- 祖母から継いだ築80年の古家で「謎の箱」を発見→開けてみると…… 驚きの中身に「うわー!スゴッ」「かなり高価だと思いますよ!」
- 「妹が入学式に着るワンピース作ってみた!」 こだわり満載のクラシカルな一着に「すごすぎて意味わからない」「涙が出ました」
- フワちゃん、弟の結婚式で卑劣な行為に「席次見て名前覚えたからな」 めでたい場でのひんしゅく行為に「プライベート守ろうよ!」の声
- 親が「絶対たぬき」「賭けてもいい」と言い張る動物を、保護して育ててみた結果…… 驚愕の正体が230万表示「こんなん噴くわ!」
- 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
- フワちゃん、収録中に見えてはいけない“部位”が映る まさかの露出に「拡大しちゃったじゃん」「またか」の声
- スーパーで売れ残っていた半額のカニを水槽に入れてみたら…… 220万再生された涙の結末に「切なくなった」「凄く感動」
- 桐朋高等学校、78期卒業生の答辞に賛辞やまず 「只者ではない」「感動のあまり泣いて10回読み直した」
- 「これは悲劇」 ヤマザキ“春のパンまつり”シールを集めていたはずなのに…… 途中で気づいたまさかの現実
- 「ふざけんな」 宿泊施設に「キャンセル料金を払わなくする方法」が物議 宿泊施設「大目に見てきたが厳格化する」
- がん闘病中の見栄晴、20回以上の放射線治療を受け変化が…… 「痛がゆくなって来ました」
- 食べ終わったパイナップルの葉を土に植えたら…… 3年半後、目を疑う結果に「もう、ただただ感動です」「ちょっと泣きそう」