「映像を見て感じたこと」を脳から読み解き言語化する技術開発 コンテンツの評価手段として応用

発話や筆談が困難な人に向けた、コミュニケーション技術としての応用も進められています。

» 2017年11月02日 09時00分 公開
[沓澤真二ねとらぼ]

 情報通信研究機構(NICT)が、脳が映像から感じた内容を読み解き、名詞・動詞・形容詞の形で言語化する「脳情報デコーディング技術」の開発に成功しました。例えば、被験者がCMを見たときに感じたことを推定し、「女性」「走る」「優しい」といった言葉として出力します。


ALT 解読の1例

 過去にも同様の試みがなされたことはありましたが、脳から解読できた内容は約500語。今回は1万語に対応する内容が解読できるようになり、さらに従来はできなかった、「印象」を形容詞として読み解くことが可能となりました。

 開発においては、脳活動の解読装置であるデコーダーに、大規模なテキストデータから学習された「言語特徴空間」を導入。言語特徴空間では1万語の単語が、意味的な近さ・遠さをもとにして100次元の座標上に配されています。


言語特徴空間 言語特徴空間の概念図

 被験者が映像を見ると、脳の反応が言語特徴空間のどの位置に対応するかデコーダーが解読。座標上で一番近い単語を「もっともらしい」言葉として抽出し、映像を見て感じた内容の推定結果として出力します。


デコーダー デコーダーの仕組み

 同技術は既に2016年度よりNICTからNTTデータへライセンス提供され、CMなどの映像コンテンツ評価サービスに用いられています。今後は精度の向上を目指すとともに、推定された脳活動の内容がどのように個性や購買行動と結びつくのかといった点についても検証が行われる予定。また、発話や筆談が困難な人に向け、発話を介しないコミュニケーション技術としての応用も進められています。


(沓澤真二)


Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10
  1. /nl/articles/2406/24/news076.jpg 18÷0=? 小3の算数プリントが不可解な出題で物議「割れませんよね?」「“答えなし”では?」
  2. /nl/articles/2406/24/news018.jpg 定年退職の日、妻に感謝のライン→返ってきた“言葉”が193万表示 「不覚にもウルッとした」「自分も精進します」と反響多数
  3. /nl/articles/2406/23/news022.jpg あずきバーに砲弾を撃ち込む様子が“そんなわけなさ過ぎる結果”で爆笑 ツッコミが不可避の投稿はどのように生まれたのか聞いてみた
  4. /nl/articles/2406/21/news154.jpg 「死ぬほど笑ったw」 “ほろよい”限定デザイン → 人気ゲームの“例のロゴ”に見えると話題に まさかの公式も反応「ほろよい うま」
  5. /nl/articles/2406/23/news014.jpg 「やばすぎ」 ブックオフに10万円で売られていた“衝撃の商品”に仰天 「これもう文化財」「お宝すぎる」
  6. /nl/articles/2406/22/news028.jpg いつも遊びに来る野良猫がケガ→治療するもひどく威嚇され…… 「嫌われた」と思った翌日の光景に「涙が出ました」
  7. /nl/articles/2406/24/news020.jpg 「行政に連絡しやなあかんやろ」街頭で遭遇した“危険生物”が477万表示 “経験者”から「足速いから気を付けて」「近付かないほうが」
  8. /nl/articles/2406/22/news082.jpg “英語”で書かれた商品説明をよく見ると…… 「日本人にしか読めない」遊び心あふれるパッケージに9万いいね
  9. /nl/articles/2406/24/news038.jpg “大好きなチーズを離さないハムスター”に見えて、実は…… 目を疑う正体に「天才」「本物かと思った…」
  10. /nl/articles/2406/24/news041.jpg ご飯中に眠すぎる赤ちゃん、ぐでんぐでんになっていき…… 100万再生の“世界一かわいい寝落ち”に「この時期しか見られない」
先週の総合アクセスTOP10
  1. 「最初から最後まで全ての瞬間がアウト」 Mrs. GREEN APPLE、コカ・コーラとのタイアップ曲に物議 「誰かこれを止める人いなかったのか」
  2. 「値段を三度見くらいした」 ハードオフに38万5000円で売っていた“予想外の商品”に思わず目を疑う
  3. 「え?」 “ごみだらけの道”を掃除したら…… あらわになった“まさかの正体”に世界中が驚き 「信じられない」【海外】
  4. 185センチ木村沙織、生放送で櫻坂46メンバーの横に立つと……朝8時51分に驚きの光景 「あれ? 子供が混じってる?」「親子すぎる」
  5. 「この家おかしい」と投稿された“家の図面”が111万表示 本当ならばおそろしい“状態”に「パッと見だと気付けない」「なにこれ……」
  6. 【今日の計算】「8−8÷8+8」を計算せよ
  7. フジ「アンメット」、池脇千鶴のサプライス姿が激変しすぎて“最も衝撃” イメージ覆す“肉づきたるみ顔”に「わからんかった」「びっくりして夜中に声出た」
  8. 「これどうやって使うの?」→「考えた人マジ天才」 セリア新商品の便利な使い方に「これ100円でいいんですか!?」
  9. 「この子はきっと豆柴サイズ」と言われた子柴犬、4年たつと…… 衝撃のビフォーアフターに「愛情詰まりすぎてw」「爆笑しました」の声
  10. 飼い主のことが好きすぎる超大型犬、最後は勢い余って…… 直視できないレベルの一撃に「何回見ても笑っちゃう」「襲われてる人がいます!!」
先月の総合アクセスTOP10
  1. 「今までなんで使わなかったのか」 ワークマンの「アルミ帽子」が暑さ対策に最強だった 「めっちゃ涼しー」
  2. 「現場を知らなすぎ」 政府広報が投稿「令和の給食」写真に批判続出…… 識者が指摘した“学校給食の問題点”
  3. 市役所で手続き中、急に笑い出した職員→何かと思って横を見たら…… 同情せざるを得ない衝撃の光景に「私でも笑ってしまう」「こんなん見たら仕事できない」
  4. 「思わず笑った」 ハードオフに4万4000円で売られていた“まさかのフィギュア”に仰天 「玄関に置いときたい」
  5. 「ごめん母さん。塩20キロ届く」LINEで謝罪 → お母さんからの返信が「最高」「まじで好きw」と話題に
  6. 「二度と酒飲まん」 酔った勢いで通販で購入 → 後日届いた“予想外”の商品に「これ売ってるんだwww」
  7. 幼稚園の「名札」を社会人が大量購入→その理由は…… 斜め上のキュートな活用術に「超ナイスアイデア」「こういうの大好きだ!」
  8. 釣れたキジハタを1年飼ってみると…… 飼い主も驚きの姿に「もはや、魚じゃない」「もう家族やね」と反響
  9. JR東のネット銀行「JRE BANK」、申し込み殺到でメール遅延、初日分の申込受付を終了
  10. サーティワンが“よくばりフェス”の「カップの品切れ」謝罪…… 連日大人気で「予想を大幅に上回る販売」