ワシントン大学、機械学習で“口パク映像”を生成するシステム発表 音声から口の動きをリアルに再現して合成映像に
偉人がしゃべるVR映像の制作などに応用できるとのこと。
米ワシントン大学の研究者らが、機械学習を使って音声データから口の動きをリアルに再現するシステムを開発しました。
学習したデータを元に、口部分と音声だけをすり替えた合成映像を自動的に生成するというもの。インプットされた音声から、ベースとなる口の形を作った後、映像に当てはめる仕組みになっています。このシステムに関する論文を執筆したSupasorn Suwajanakorn氏によれば、口は人間が不自然さを感じやすく、「不気味の谷」に陥りやすい場所。しかし、発表された米国オバマ前大統領の合成映像はとてもリアルで、あたかも本当にしゃべっているかのように見えます。
このような合成は以前から可能だったものの、スタジオで複数人の口の動きを撮影する必要が。しかし、今回発表されたシステムはインターネット上の動画などに対応しており、低コストで使用できるようになっています。ちなみに、今回発表された合成映像にオバマ前大統領が採用されたのは、パブリックドメインの映像が何時間分も公開されているため。学習にはまだ膨大な量のデータが必要で、それをそろえるのが楽だったからというわけです。今後は、学習用映像を10分の1以下に減らし、1時間分で利用できるように改良するとしています。
実用化の方向性としては、ビデオ通話への導入などが考えられるとのこと。接続状況が悪いと映像が乱れることがありますが、同システムを使えば、音声のみを使って高品質な合成映像を見せることができます。また、歴史的な人物がしゃべっている様子をリアルに再現したVR映像の制作にも活用できる可能性もあるとのこと。
(マッハ・キショ松)
関連記事
- 「3フィート先に友人がいます」――スマホに映った状況を読み上げる視覚障害者向けアプリ「Seeing AI」 MSがリリース
AIが周囲の状況を分析し、音声で伝えてくれます。 - 表情や動きで喜怒哀楽を表現するAIロボット「COZMO」登場
1000を超えるパターンで喜怒哀楽を表現し、人間と自然なコミュニケーションをとることができるという。 - Google DeepMind、AIに人体の動きを教育 障害物を越えるための最善の動作を自力で考えるように
バランスをとろうと手足をばたつかせる様子がユーモラス。 - ヤフー、プロ野球ホークス戦チケット販売に価格変動制導入 AIの需要予測をもとに各試合の観戦料を設定
過去の対戦成績やリーグ内順位をもとに、AIが需要を予測して価格を設定。 - Googleの作画AIにさらなる進展 ユーザーが描きかけた落書きに線を足して完成してくれる
横棒1本引いただけで、草木を描き足して庭の絵にしてくれました。 - 居眠り絶対できない 顔認識AIで授業中の集中度を数値化、仏ビジネススクールで導入開始
まぶたにマジックで目を描く作戦が通用するかは不明。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
-
1歳赤ちゃん、寝る時間に現れないと思ったら…… 思わぬお仲間連れとご紹介が「めっちゃくちゃ可愛い」と220万再生
-
【今日の計算】「8+9÷3−5」を計算せよ
-
「プロ野球チップス」で誤字 伊藤大海投手を「176m」と記載してカルビー謝罪
-
「ママ友襲来10分前」→さぁ、どうする……? 大爆笑の“あるある”再現が400万再生突破「腹ちぎれました」「バナナ食べんでもええやん」
-
富山県警のX投稿に登場の女性白バイ隊員に過去一注目集まる「可愛い過ぎて、取締り情報が入ってこない」
-
21歳の無名アイドル、ビジュアル拡散で「あの頃の橋本環奈すぎる」とSNS騒然 「実物の方が可愛い」「見つかっちゃったなー」の声も
-
「大型魚の餌に!!」 熱帯魚店の“思わず目を疑うPOP”に恐怖 「サメでも飼うの?」
-
2カ月赤ちゃん、おばあちゃんに手をスリスリされた瞬間…… 愛と幸せあふれる空間に笑顔になる「これぞ天使だ」
-
漂う違法感 東京に戻る息子へ持たせた“大量のブツ”に「九州人あるある」「帰省からの帰りいつもこれ」の声
-
異世界転生したローソン出現 ラスボスに挑む前のショップみたいで「合成かと思った」「日本にあるんだ」
- 生後2カ月の赤ちゃんにママが話しかけると、次の瞬間かわいすぎる反応が! 「天使」「なんか泣けてきた」と癒やされた人続出
- 車検に出した軽トラの荷台に乗っていた生後3日の子猫、保護して育てた3年後…… 驚きの現在に大反響「天使が女神に」「目眩が」
- 安達祐実、成人した娘とのレアな2ショット披露 「ママには見えない!」「とても似ててびっくり」と驚きの声
- 兄が10歳下の妹に無償の愛を注ぎ続けて2年後…… ママも驚きの光景に「尊すぎてコメントが浮かばねぇ」「最高のにいに」
- “これが普通だと思っていた柴犬のお風呂の入れ方が特殊すぎた” 予想外の体勢に「今まで観てきた入浴法で1番かわいい」
- 「虎に翼」、新キャラの俳優に注目が集まる 「綺麗な人だね」「まさか日本のドラマでお目にかかれるとは!」
- 「葬送のフリーレン」ユーベルのコスプレがまるで実写版 「ジト目が完璧」と27万いいねの好評
- お花見でも大活躍する「2杯のドリンクを片手で持つ方法」 目からウロコの裏技に「えぇーーすごーーい」「やってみます!」
- 弟から出産祝いをもらったら…… 爆笑の悲劇に「めっちゃおもろ可愛いんだけどw」「笑いこらえるの無理でした」
- 3カ月の赤ちゃん、パパに“しーっ”とされた反応が「可愛いぁぁぁぁ」と200万再生 無邪気なお返事としぐさから幸せがあふれ出す
- フワちゃん、弟の結婚式で卑劣な行為に「席次見て名前覚えたからな」 めでたい場でのひんしゅく行為に「プライベート守ろうよ!」の声
- 親が「絶対たぬき」「賭けてもいい」と言い張る動物を、保護して育ててみた結果…… 驚愕の正体が230万表示「こんなん噴くわ!」
- 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
- フワちゃん、収録中に見えてはいけない“部位”が映る まさかの露出に「拡大しちゃったじゃん」「またか」の声
- スーパーで売れ残っていた半額のカニを水槽に入れてみたら…… 220万再生された涙の結末に「切なくなった」「凄く感動」
- 桐朋高等学校、78期卒業生の答辞に賛辞やまず 「只者ではない」「感動のあまり泣いて10回読み直した」
- 「これは悲劇」 ヤマザキ“春のパンまつり”シールを集めていたはずなのに…… 途中で気づいたまさかの現実
- 「ふざけんな」 宿泊施設に「キャンセル料金を払わなくする方法」が物議 宿泊施設「大目に見てきたが厳格化する」
- がん闘病中の見栄晴、20回以上の放射線治療を受け変化が…… 「痛がゆくなって来ました」
- 食べ終わったパイナップルの葉を土に植えたら…… 3年半後、目を疑う結果に「もう、ただただ感動です」「ちょっと泣きそう」