ニュース
» 2020年05月23日 17時10分 公開

しゃべった内容、リアルタイムで字幕化して映像に合成 ビデオ会議が便利になるシステムに注目集まる

耳が聞こえにくい人とのコミュニケーションが向上しそうです。

[ねとらぼ]

 ビデオ会議やネット発表会が増える中、話した内容をリアルタイムで字幕化してWebカメラ映像に合成するシステムを開発する人が現れて注目を集めています。

 開発したのは筑波大学大学院修士課程の鈴木一平(@1heisuzuki)さん。カメラとマイクをオンにしてGoogle ChromeからWebサイトにアクセスすると、話したことをリアルタイムで音声認識してWebカメラの映像に字幕として表示します。

話した内容がリアルタイムで字幕に
カメラ表示やグリーンバック表示のありなしなども設定可能(サイトは随時アップデートしているとのこと)

 ブラウザの画面をキャプチャーしたり共有したりしてビデオ会議ツールに表示すると、字幕付きで会議に参加することが可能。音声認識結果のログをダウンロードすることもできます。ソースコードはGitHubで公開されています。

 鈴木さんが公開したデモ映像では、話している内容がかなりの速さと精度で字幕に変換されています。編集部でも試したところ、話したことがサクサクと文字に起こされて驚きました。

 鈴木さんはこのサイトの「元ネタ」として、落合陽一さんが投稿した動画を挙げています。落合さんは動画で、ビデオ会議で耳が聞こえにくい人とスムーズにコミュニケーションできるよう、Googleのアプリを使って音声を字幕化して映像に重ねる方法を紹介しています。

 同じく落合さんに触発された同志社大学研究員でピクシーダストテクノロジーズのリードエンジニア、長谷芳樹(@nagataniyoshiki)さんが開発した、PCとAndroid端末と無料ツールで音声を字幕化して映像に合成するシステムも注目を集めました。字幕のみならず映像と合成することで、聴覚障害者が字幕と唇の動きを併用して会話できると説明しています。こちらのデモ映像もかなりの精度で字幕がリアルタイムに生成されている様子が分かります。

こちらもさくさくとかなりの精度で字幕を表示

 他にも、iPhoneとMacで同様のシステムを開発する人も現れており、今後さらに多くの選択肢が生まれていきそうです。

協力:鈴木一平(@1heisuzuki)さん、長谷芳樹(@nagataniyoshiki)さん



Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10

  1. /nl/articles/2110/25/news149.jpg 「くそが……!」 最上もが、奮発した「Uber Eats」の対応に怒り爆発 1400円ステーキの“中身”に「絶望」「もう頼まねえ」
  2. /nl/articles/2110/26/news040.jpg ニトリで猫用ベッドを購入→「大変気に入ってるようです」 笑撃のオチに「そっちだよね」「猫あるある〜」の声
  3. /nl/articles/2110/25/news023.jpg 産み捨てられた未熟児の子猫を保護、生死をさまよったが…… すくすく育った1カ月後のビフォーアフターに涙
  4. /nl/articles/2110/20/news052.jpg 「PS5購入者は箱に名前を書いてもらう」ノジマはなぜ転売ヤーを許さないのか? 苛烈な転売対策の背景を担当者に聞いた
  5. /nl/articles/2110/24/news050.jpg 庄司智春、愛車ダッジ・チャレンジャーが廃車に ガソリンスタンドで炎上、ボンネットから発煙し「やばい」
  6. /nl/articles/2110/26/news020.jpg 「最後くそわろた」「盛大に吹いたw」 コンビニバイトが出会った“変なお客さん”の珍行動漫画が話題に
  7. /nl/articles/2110/25/news057.jpg 子どもが熱を出したママのシフト変更を断った独身時代…… 親になって気付いた“ワーママの休みづらさ”を描いた漫画に反響
  8. /nl/articles/2110/26/news070.jpg ガンダムを廃材から作り出す職人がすごい 可動まで実現する神業に「令和のプラモ狂四郎」の呼び声
  9. /nl/articles/2012/09/news170.jpg ノジマ、PS5抽選販売で「転売ヤーを1件ずつ人力で排除」 応募総数は12万件、当選発表の遅れを謝罪
  10. /nl/articles/2110/25/news124.jpg 壊された昭和のハンバーガー自販機、古びた色合いまで元通りに 粋な修理をした加工業者に称賛集まる

先週の総合アクセスTOP10

  1. 「くそが……!」 最上もが、奮発した「Uber Eats」の対応に怒り爆発 1400円ステーキの“中身”に「絶望」「もう頼まねえ」
  2. 伊藤かずえ、13年間ともにした愛車とお別れ 総走行距離は14万キロ超で「今まで本当に有り難う」と感謝
  3. 庄司智春、愛車ダッジ・チャレンジャーが廃車に ガソリンスタンドで炎上、ボンネットから発煙し「やばい」
  4. 山本美月、ウエディングドレス姿がまるで「妖精」 母親のドレスをリメイクし背中に“羽”
  5. 「シーンとなった球場に俺の歌声がして……」 上地雄輔、後輩・松坂大輔の引退試合で“まさかのサプライズ”に感激
  6. シャンプーしたての柴犬に、猫がクンクン近づいて…… 何年たっても仲の良い姿に心がほかほか癒やされる
  7. ニトリで猫用ベッドを購入→「大変気に入ってるようです」 笑撃のオチに「そっちだよね」「猫あるある〜」の声
  8. じゃれ合う保護子猫たち、1匹が逃げ込んだのはまさかの…… ダッシュする姿に「一番安心だと知ってる」「爆笑した」の声
  9. 元SKE石田安奈、第1子出産後のぽっこりおなかに驚愕 産んだらへこむと思っていたのに「もう1人いるの!?」
  10. だって安室ちゃんがついてる! 中川翔子「この写真を見れば生きていける」1枚が100人力どころじゃない頼もしさ