ニュース
» 2020年05月23日 17時10分 公開

しゃべった内容、リアルタイムで字幕化して映像に合成 ビデオ会議が便利になるシステムに注目集まる

耳が聞こえにくい人とのコミュニケーションが向上しそうです。

[ねとらぼ]

 ビデオ会議やネット発表会が増える中、話した内容をリアルタイムで字幕化してWebカメラ映像に合成するシステムを開発する人が現れて注目を集めています。

 開発したのは筑波大学大学院修士課程の鈴木一平(@1heisuzuki)さん。カメラとマイクをオンにしてGoogle ChromeからWebサイトにアクセスすると、話したことをリアルタイムで音声認識してWebカメラの映像に字幕として表示します。

話した内容がリアルタイムで字幕に
カメラ表示やグリーンバック表示のありなしなども設定可能(サイトは随時アップデートしているとのこと)

 ブラウザの画面をキャプチャーしたり共有したりしてビデオ会議ツールに表示すると、字幕付きで会議に参加することが可能。音声認識結果のログをダウンロードすることもできます。ソースコードはGitHubで公開されています。

 鈴木さんが公開したデモ映像では、話している内容がかなりの速さと精度で字幕に変換されています。編集部でも試したところ、話したことがサクサクと文字に起こされて驚きました。

 鈴木さんはこのサイトの「元ネタ」として、落合陽一さんが投稿した動画を挙げています。落合さんは動画で、ビデオ会議で耳が聞こえにくい人とスムーズにコミュニケーションできるよう、Googleのアプリを使って音声を字幕化して映像に重ねる方法を紹介しています。

 同じく落合さんに触発された同志社大学研究員でピクシーダストテクノロジーズのリードエンジニア、長谷芳樹(@nagataniyoshiki)さんが開発した、PCとAndroid端末と無料ツールで音声を字幕化して映像に合成するシステムも注目を集めました。字幕のみならず映像と合成することで、聴覚障害者が字幕と唇の動きを併用して会話できると説明しています。こちらのデモ映像もかなりの精度で字幕がリアルタイムに生成されている様子が分かります。

こちらもさくさくとかなりの精度で字幕を表示

 他にも、iPhoneとMacで同様のシステムを開発する人も現れており、今後さらに多くの選択肢が生まれていきそうです。

協力:鈴木一平(@1heisuzuki)さん、長谷芳樹(@nagataniyoshiki)さん



Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10

  1. /nl/articles/2006/02/news025.jpg 娘のおもちゃを落として「ごめんごめん」、娘の反応は…… 「親の方が正しいわけじゃない」と気付かされる漫画にドキッとする
  2. /nl/articles/2006/01/news106.jpg バンダイの技術力は化け物か! 最新の初心者向けガンプラが超技術の結晶 しかもお値段770円
  3. /nl/articles/2006/01/news083.jpg 「幸せにしてあげられるよう頑張ります」 Dream Amiに“新しい家族”、E-girls・鷲尾伶菜も「めちゃくちゃ可愛い」と反応
  4. /nl/articles/2006/01/news014.jpg 「泣きました」「愛犬を思い出した」 漫画“ギャルが犬を飼った話”が予想外の展開で目頭があつくなる
  5. /nl/articles/2006/01/news011.jpg 猫「すごくねむいけど下僕になでさせてあげないと……」 飼い主を思いやる猫さまが優しくてかわいい
  6. /nl/articles/2006/02/news095.jpg 怖い動画「もぺもぺ」がYouTubeにより“子ども向け”へ強制的に設定変更され作者困惑 「子ども泣く」「公式エルサゲート」
  7. /nl/articles/2006/02/news021.jpg 3分では作れない「1/1 カップヌードルプラモデル」爆誕 “疎密麺塊構造”や“中間保持機構”まで完全再現!
  8. /nl/articles/2006/02/news083.jpg 違う、そうじゃない セクシー女優・深田えいみ「なんでも教えてあげる」が期待の斜め上を突き抜けてしまう
  9. /nl/articles/1808/22/news101.jpg 「訃報」「愛猫」「手風琴」って読める? 常用漢字表に掲載されている“難読漢字”
  10. /nl/articles/2005/27/news111.jpg 「永久機関がムリなのはエネルギー保存則が成り立たないから」はちょっとおかしいから、実際に作って考えてみた

先月の総合アクセスTOP10

  1. 「訃報」「愛猫」「手風琴」って読める? 常用漢字表に掲載されている“難読漢字”
  2. 自分のことを“柴犬”だと思っている猫ちゃん!? 犬猫4きょうだいの息ピッタリな「いただきます」がお見事
  3. 圧倒的疾走感ッ! 深田恭子、ドローン撮影のサーフィン動画が「うわぉ カッコいい!」「水を得た魚のよう」と反響
  4. セーラームーンを自分の絵柄で描く「sailormoonredraw」チャレンジ 漫画家やイラストレーターの美麗なイラストが集まる
  5. 印刷した紙がプリンタから次々消失 → 原因を突き止めた動画に爆笑 「紙隠し」「ピタゴラスイッチだ」
  6. 「イチャイチャ感半端ない」 ヒロミ、妻・松本伊代をヘアカットする動画が130万回再生超えの大反響
  7. 「パワポで作った」 離れると意味が分かる岐阜新聞の「Stay Home」広告が話題、制作したのはデザイン経験のない営業社員
  8. 仕事のLINEに「洗濯たたみましたほめてほめて!」 応募総数8000件の「LINE誤爆」最優秀作品が決定
  9. 「私も撮りたい、貸して!」と言われて娘にカメラを渡したら―― 26万いいねを集めた衝撃写真を御覧ください
  10. 「レターパックプラスがボロボロの状態で郵便受けに入ってた」 受領印必須のサービス、明らかな過失でも補償なし? 日本郵便に聞いた