ニュース
» 2020年05月23日 17時10分 公開

しゃべった内容、リアルタイムで字幕化して映像に合成 ビデオ会議が便利になるシステムに注目集まる

耳が聞こえにくい人とのコミュニケーションが向上しそうです。

[ねとらぼ]

 ビデオ会議やネット発表会が増える中、話した内容をリアルタイムで字幕化してWebカメラ映像に合成するシステムを開発する人が現れて注目を集めています。

 開発したのは筑波大学大学院修士課程の鈴木一平(@1heisuzuki)さん。カメラとマイクをオンにしてGoogle ChromeからWebサイトにアクセスすると、話したことをリアルタイムで音声認識してWebカメラの映像に字幕として表示します。

話した内容がリアルタイムで字幕に
カメラ表示やグリーンバック表示のありなしなども設定可能(サイトは随時アップデートしているとのこと)

 ブラウザの画面をキャプチャーしたり共有したりしてビデオ会議ツールに表示すると、字幕付きで会議に参加することが可能。音声認識結果のログをダウンロードすることもできます。ソースコードはGitHubで公開されています。

 鈴木さんが公開したデモ映像では、話している内容がかなりの速さと精度で字幕に変換されています。編集部でも試したところ、話したことがサクサクと文字に起こされて驚きました。

 鈴木さんはこのサイトの「元ネタ」として、落合陽一さんが投稿した動画を挙げています。落合さんは動画で、ビデオ会議で耳が聞こえにくい人とスムーズにコミュニケーションできるよう、Googleのアプリを使って音声を字幕化して映像に重ねる方法を紹介しています。

 同じく落合さんに触発された同志社大学研究員でピクシーダストテクノロジーズのリードエンジニア、長谷芳樹(@nagataniyoshiki)さんが開発した、PCとAndroid端末と無料ツールで音声を字幕化して映像に合成するシステムも注目を集めました。字幕のみならず映像と合成することで、聴覚障害者が字幕と唇の動きを併用して会話できると説明しています。こちらのデモ映像もかなりの精度で字幕がリアルタイムに生成されている様子が分かります。

こちらもさくさくとかなりの精度で字幕を表示

 他にも、iPhoneとMacで同様のシステムを開発する人も現れており、今後さらに多くの選択肢が生まれていきそうです。

協力:鈴木一平(@1heisuzuki)さん、長谷芳樹(@nagataniyoshiki)さん



Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10

  1. /nl/articles/2010/24/news035.jpg 「助かりました」「早速実践します」 小児科医が教える“はがれにくい絆創膏の貼り方”が使えると話題に
  2. /nl/articles/2010/24/news016.jpg 「俺も昔はワルだった」「へぇ〜 今日は当時の被害者を呼んでます」 女子高生がかわいさ全開で鉄槌をくだす漫画「正義のミカたん」
  3. /nl/articles/2010/24/news004.jpg 「うちの子に何するニャ!(怒)」 子猫を守ろうと、父猫にパンチをくらわせる母猫がたのもしい
  4. /nl/articles/2010/23/news160.jpg 「こんな禰豆子は嫌だ」 マンウィズ、満を持して『鬼滅の刃』コスプレ披露 人間の流行にちゃっかり乗ってしまう
  5. /nl/articles/2010/23/news015.jpg 子猫「えいっ、やあっ!(コテッ)」 ぬいぐるみに戦いをいどむ子猫がずっと見ていたくなるかわいさ
  6. /nl/articles/2010/23/news131.jpg 「たまたまそこに居合わせただけ」で死にかけた不運な男 接触事故を起こしたクルマが横転、背後から転がり迫ってくるシーンを捉えた映像が怖すぎる
  7. /nl/articles/2010/23/news021.jpg 「嫌よ!」「個人情報じゃない!」って言わないで なぜ薬局で保険証提示が必要なのかを説明する漫画が分かりやすい
  8. /nl/articles/2010/23/news092.jpg 1年間ケアし続けた“爪”のビフォーアフターが衝撃 「爪の形って変わるの!?」「私もがんばろ」
  9. /nl/articles/2010/24/news008.jpg 猫「はさむのやめろニャ(怒)」 兄猫に顔をホールドされる妹猫の表情がおもしろい
  10. /nl/articles/2010/23/news102.jpg キバvsキング 「ルパンの娘」瀬戸康史&新納慎也の対決実現に仮面ライダーファン歓喜 放送局を超えた猛プッシュに「公式でも言っちゃったよ」