ワシントン大学、機械学習で“口パク映像”を生成するシステム発表 音声から口の動きをリアルに再現して合成映像に
偉人がしゃべるVR映像の制作などに応用できるとのこと。
米ワシントン大学の研究者らが、機械学習を使って音声データから口の動きをリアルに再現するシステムを開発しました。
学習したデータを元に、口部分と音声だけをすり替えた合成映像を自動的に生成するというもの。インプットされた音声から、ベースとなる口の形を作った後、映像に当てはめる仕組みになっています。このシステムに関する論文を執筆したSupasorn Suwajanakorn氏によれば、口は人間が不自然さを感じやすく、「不気味の谷」に陥りやすい場所。しかし、発表された米国オバマ前大統領の合成映像はとてもリアルで、あたかも本当にしゃべっているかのように見えます。
このような合成は以前から可能だったものの、スタジオで複数人の口の動きを撮影する必要が。しかし、今回発表されたシステムはインターネット上の動画などに対応しており、低コストで使用できるようになっています。ちなみに、今回発表された合成映像にオバマ前大統領が採用されたのは、パブリックドメインの映像が何時間分も公開されているため。学習にはまだ膨大な量のデータが必要で、それをそろえるのが楽だったからというわけです。今後は、学習用映像を10分の1以下に減らし、1時間分で利用できるように改良するとしています。
実用化の方向性としては、ビデオ通話への導入などが考えられるとのこと。接続状況が悪いと映像が乱れることがありますが、同システムを使えば、音声のみを使って高品質な合成映像を見せることができます。また、歴史的な人物がしゃべっている様子をリアルに再現したVR映像の制作にも活用できる可能性もあるとのこと。
(マッハ・キショ松)
関連記事
- 「3フィート先に友人がいます」――スマホに映った状況を読み上げる視覚障害者向けアプリ「Seeing AI」 MSがリリース
AIが周囲の状況を分析し、音声で伝えてくれます。 - 表情や動きで喜怒哀楽を表現するAIロボット「COZMO」登場
1000を超えるパターンで喜怒哀楽を表現し、人間と自然なコミュニケーションをとることができるという。 - Google DeepMind、AIに人体の動きを教育 障害物を越えるための最善の動作を自力で考えるように
バランスをとろうと手足をばたつかせる様子がユーモラス。 - ヤフー、プロ野球ホークス戦チケット販売に価格変動制導入 AIの需要予測をもとに各試合の観戦料を設定
過去の対戦成績やリーグ内順位をもとに、AIが需要を予測して価格を設定。 - Googleの作画AIにさらなる進展 ユーザーが描きかけた落書きに線を足して完成してくれる
横棒1本引いただけで、草木を描き足して庭の絵にしてくれました。 - 居眠り絶対できない 顔認識AIで授業中の集中度を数値化、仏ビジネススクールで導入開始
まぶたにマジックで目を描く作戦が通用するかは不明。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
-
「電車の中で見ちゃダメ」「笑ったww」 実家からLINE「子ヤギがすばしっこくて捕まらない」→送られてきた衝撃姿が320万表示!
-
誰も教えてくれなかった“裁縫の裏ワザ”が目からウロコ 200万再生のライフハックに「画期的」と称賛【海外】
-
小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
-
娘の給食の献立表を見たら…… 正体不明の“謎の料理名”が「これはわからんw」と話題に その意外な正体に納得!
-
プロ野球チップスでまた“不良品”流出 伊藤大海「176m」表記に続き…… カルビー謝罪「深くお詫び」
-
1年半ケージに引きこもっていたシャーシャー猫が、ある夜布団に入ってきて…… 感涙の行動に「まるで別猫」「こんな日が来るなんて」
-
メルカリで300円の紙モノセットを買ってみたら…… 出品者のあたたかな心遣いに「利益は考えていないんでしょうね」「見ててわくわくします」
-
子どもに高級キーボードのパーツを捨てられた → 公式の“先読みしすぎた対応”が話題「そういうこともあろうかと」
-
巨大深海魚のぶっとい毒針に刺され5時間後、体がとんでもないことに…… 衝撃の経過報告に「死なないで」
-
ダイソー「マルチ万能ほうき」が家事ラクの救世主 名前負け知らずの便利さに「これやばっ!!」「220円に驚き」の声
- 小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
- 富山県警のX投稿に登場の女性白バイ隊員に過去一注目集まる「可愛い過ぎて、取締り情報が入ってこない」
- 2カ月赤ちゃん、おばあちゃんに少々強引な寝かしつけをされると…… コントのようなオチに「爆笑!」「可愛すぎて無事昇天」
- 異世界転生したローソン出現 ラスボスに挑む前のショップみたいで「合成かと思った」「日本にあるんだ」
- 【今日の計算】「8+9÷3−5」を計算せよ
- 21歳の無名アイドル、ビジュアル拡散で「あの頃の橋本環奈すぎる」とSNS騒然 「実物の方が可愛い」「見つかっちゃったなー」の声も
- 1歳赤ちゃん、寝る時間に現れないと思ったら…… 思わぬお仲間連れとご紹介が「めっちゃくちゃ可愛い」と220万再生
- 業務スーパーで買ったアサリに豆乳を与えて育てたら…… 数日後の摩訶不思議な変化に「面白い」「ちゃんと豆乳を食べてた?」
- 祖母から継いだ築80年の古家で「謎の箱」を発見→開けてみると…… 驚きの中身に「うわー!スゴッ」「かなり高価だと思いますよ!」
- 「妹が入学式に着るワンピース作ってみた!」 こだわり満載のクラシカルな一着に「すごすぎて意味わからない」「涙が出ました」
- フワちゃん、弟の結婚式で卑劣な行為に「席次見て名前覚えたからな」 めでたい場でのひんしゅく行為に「プライベート守ろうよ!」の声
- 親が「絶対たぬき」「賭けてもいい」と言い張る動物を、保護して育ててみた結果…… 驚愕の正体が230万表示「こんなん噴くわ!」
- 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
- フワちゃん、収録中に見えてはいけない“部位”が映る まさかの露出に「拡大しちゃったじゃん」「またか」の声
- スーパーで売れ残っていた半額のカニを水槽に入れてみたら…… 220万再生された涙の結末に「切なくなった」「凄く感動」
- 桐朋高等学校、78期卒業生の答辞に賛辞やまず 「只者ではない」「感動のあまり泣いて10回読み直した」
- 「これは悲劇」 ヤマザキ“春のパンまつり”シールを集めていたはずなのに…… 途中で気づいたまさかの現実
- 「ふざけんな」 宿泊施設に「キャンセル料金を払わなくする方法」が物議 宿泊施設「大目に見てきたが厳格化する」
- がん闘病中の見栄晴、20回以上の放射線治療を受け変化が…… 「痛がゆくなって来ました」
- 食べ終わったパイナップルの葉を土に植えたら…… 3年半後、目を疑う結果に「もう、ただただ感動です」「ちょっと泣きそう」