ニュース
» 2017年07月18日 21時30分 公開

ワシントン大学、機械学習で“口パク映像”を生成するシステム発表 音声から口の動きをリアルに再現して合成映像に

偉人がしゃべるVR映像の制作などに応用できるとのこと。

[マッハ・キショ松,ねとらぼ]

 米ワシントン大学の研究者らが、機械学習を使って音声データから口の動きをリアルに再現するシステムを開発しました。

 学習したデータを元に、口部分と音声だけをすり替えた合成映像を自動的に生成するというもの。インプットされた音声から、ベースとなる口の形を作った後、映像に当てはめる仕組みになっています。このシステムに関する論文を執筆したSupasorn Suwajanakorn氏によれば、口は人間が不自然さを感じやすく、「不気味の谷」に陥りやすい場所。しかし、発表された米国オバマ前大統領の合成映像はとてもリアルで、あたかも本当にしゃべっているかのように見えます。

 このような合成は以前から可能だったものの、スタジオで複数人の口の動きを撮影する必要が。しかし、今回発表されたシステムはインターネット上の動画などに対応しており、低コストで使用できるようになっています。ちなみに、今回発表された合成映像にオバマ前大統領が採用されたのは、パブリックドメインの映像が何時間分も公開されているため。学習にはまだ膨大な量のデータが必要で、それをそろえるのが楽だったからというわけです。今後は、学習用映像を10分の1以下に減らし、1時間分で利用できるように改良するとしています。


機械学習で、音声データから口パク映像生成 仕組みを表した図


機械学習で、音声データから口パク映像生成 オバマ大統領が話している様子を、とてもリアルに再現しています


機械学習で、音声データから口パク映像生成機械学習で、音声データから口パク映像生成 入力されたインタビュー映像は、構図が大きく異なるものも。音声のみを使うため、問題なく機能するようです

 実用化の方向性としては、ビデオ通話への導入などが考えられるとのこと。接続状況が悪いと映像が乱れることがありますが、同システムを使えば、音声のみを使って高品質な合成映像を見せることができます。また、歴史的な人物がしゃべっている様子をリアルに再現したVR映像の制作にも活用できる可能性もあるとのこと。

マッハ・キショ松

Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10

  1. /nl/articles/2108/03/news132.jpg 海外記者「最高のコンビニアイスを発見した」 森永チョコモナカジャンボ、ついに世界に見つかってしまう
  2. /nl/articles/2108/04/news073.jpg 伊東美咲、12年ぶりのテレビ出演に大反響 “不変の美貌”に「44歳信じられない」「本当に美しい人」の声
  3. /nl/articles/2108/04/news015.jpg 柴犬「メシ、よこさんかーい!!(激怒)」 ごはんを忘れた飼い主に皿をぶん投げる柴犬、荒ぶる姿に「爆笑した」
  4. /nl/articles/2108/03/news023.jpg その人はやめとけって! 漫画「情緒をめちゃくちゃにしてくる女」シリーズを読んでキミもめちゃくちゃになろう
  5. /nl/articles/2108/04/news104.jpg 辻希美、自宅リビングが規格外の広さ 子ども3人が余裕でブランコ遊びできる室内に「羨ましい限り!!」
  6. /nl/articles/2108/03/news029.jpg もしや女として見られていない? 突然の別れ話に「勝負メイク」で抵抗する漫画 彼氏の言葉がじんと響く
  7. /nl/articles/2108/04/news138.jpg アゼルバイジャン五輪代表チーム内で、意外な日本語がトレンドに 「落ち込んじゃったら日本のみんなはなんていうの?」
  8. /nl/articles/2108/04/news103.jpg 世界のミフネ刺されまくり! 三船美佳、父・敏郎さんの“パパの顔”を引き出した親子ショットに反響
  9. /nl/articles/2108/04/news028.jpg 宿題の日記に適当な妄想書く → 感動した先生がクラスの前で読み上げ 小学校の思い出を描いた漫画がこっちまで叫びたくなるつらさ
  10. /nl/articles/2108/04/news107.jpg 輪になって踊ろう! 太田雄貴、五輪選手村でスペイン代表選手と国際交流「悲壮感なく楽しむ彼女達が眩しかった」

先週の総合アクセスTOP10

  1. 「くたばれ」「消えろ」 卓球・水谷隼、SNSに届いた中傷DM公開&警告「然るべき措置を取ります」
  2. 「貴さん憲さんごめん。いや、ありがとう」 渡辺満里奈、とんねるずとの“仮面ノリダー”思い出ショットが大反響
  3. 怖い話を持ち寄って涼もう→「オタバレ」「リボ払い」 何かがズレてる怪談漫画がそれはそれで恐ろしい
  4. おにぎりパッケージに四苦八苦していた五輪レポーター「日本の素晴らしい人々に感謝」 大量アドバイスで見事攻略
  5. 「助けてください」 来日五輪レポーター、おにぎりパッケージに四苦八苦 海外メディアにコンビニが大人気
  6. 「うちの子に着せたい」の声殺到 五輪会場で編み物をしていた英金メダリスト、作っていたのは「ワンちゃんの服」
  7. 五輪飛び込み金メダリスト、“手作りメダルポーチ”披露 英国と日本にちなんだデザインが「これまた金メダル級」と反響
  8. 武井壮、行方不明だった闘病中の父親を発見 「電気ついてるのに鍵閉まってて……」本人は自宅外で休憩
  9. 「涙が止まらない」「やっと一区切り」 東原亜希、夫・井上康生の監督退任で“17年分の思い”あふれる
  10. 水谷隼スタッフが一部マスコミの“行き過ぎた取材”に警告 住民を脅かすアポなし行為に「しかるべき措置を検討」

先月の総合アクセスTOP10

  1. 「竜とそばかすの姫」レビュー 危険すぎるメッセージと脚本の致命的な欠陥
  2. 笠井アナ、日比谷公園で「信じられないことが…」 サンドイッチを狙う集団に「何? えーっ! まさか、それはないでしょ!」
  3. 62歳の宮崎美子、マクドナルドCMで初々しい中学生少女を見事に演じる 「暖かい目でぜひ見てください」
  4. 瀕死のスズメのヒナを助けたのに…… 「助けたヒナたちに完全にナメられた」動画がほほえましくて面白い
  5. ハート打ち抜かれました! コロンビアのアーチェリー女子選手が「かわいい」「エルフ」と注目の的に
  6. 散歩中のラブラドール、助けを求める子猫を発見→保護 親子のような仲むつまじいふたりに涙が出る
  7. 宮迫博之、美容整形から2週間のビフォーアフター公開 手術直後の腫れ&炎症だらけな顔に「暴漢に遭ったんかって」
  8. 上野樹里、“娘”の誕生日に愛情たっぷり手作りオムライス公開 「がんばろうね ママより」と祝福メッセージ
  9. 出勤時、妻にいつになく強く抱きしめられた夫→妻が家に帰ってくると…… 何気ない日常を描いた漫画にツッコミつつもジーンとする
  10. 「本人にしか見えない」「めっちゃ似てる」 霜降り明星せいや、オリンピック開会式に“ガチのそっくりさん”を発見する