ニュース
» 2020年05月23日 17時10分 公開

しゃべった内容、リアルタイムで字幕化して映像に合成 ビデオ会議が便利になるシステムに注目集まる

耳が聞こえにくい人とのコミュニケーションが向上しそうです。

[ねとらぼ]

 ビデオ会議やネット発表会が増える中、話した内容をリアルタイムで字幕化してWebカメラ映像に合成するシステムを開発する人が現れて注目を集めています。

 開発したのは筑波大学大学院修士課程の鈴木一平(@1heisuzuki)さん。カメラとマイクをオンにしてGoogle ChromeからWebサイトにアクセスすると、話したことをリアルタイムで音声認識してWebカメラの映像に字幕として表示します。

話した内容がリアルタイムで字幕に
カメラ表示やグリーンバック表示のありなしなども設定可能(サイトは随時アップデートしているとのこと)

 ブラウザの画面をキャプチャーしたり共有したりしてビデオ会議ツールに表示すると、字幕付きで会議に参加することが可能。音声認識結果のログをダウンロードすることもできます。ソースコードはGitHubで公開されています。

 鈴木さんが公開したデモ映像では、話している内容がかなりの速さと精度で字幕に変換されています。編集部でも試したところ、話したことがサクサクと文字に起こされて驚きました。

 鈴木さんはこのサイトの「元ネタ」として、落合陽一さんが投稿した動画を挙げています。落合さんは動画で、ビデオ会議で耳が聞こえにくい人とスムーズにコミュニケーションできるよう、Googleのアプリを使って音声を字幕化して映像に重ねる方法を紹介しています。

 同じく落合さんに触発された同志社大学研究員でピクシーダストテクノロジーズのリードエンジニア、長谷芳樹(@nagataniyoshiki)さんが開発した、PCとAndroid端末と無料ツールで音声を字幕化して映像に合成するシステムも注目を集めました。字幕のみならず映像と合成することで、聴覚障害者が字幕と唇の動きを併用して会話できると説明しています。こちらのデモ映像もかなりの精度で字幕がリアルタイムに生成されている様子が分かります。

こちらもさくさくとかなりの精度で字幕を表示

 他にも、iPhoneとMacで同様のシステムを開発する人も現れており、今後さらに多くの選択肢が生まれていきそうです。

協力:鈴木一平(@1heisuzuki)さん、長谷芳樹(@nagataniyoshiki)さん



Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10

  1. /nl/articles/2208/16/news127.jpg がん闘病の秋野暢子、激しい副作用とポジティブに格闘 治療で真っ赤な首筋に心配の声も「痛々しい」「見ていて辛い」
  2. /nl/articles/2208/11/news041.jpg この写真の中に“ドラえもん”が紛れています 難易度の高さに「ギブです」「ドラえもんは僕の心の中に」と諦める人続出
  3. /nl/articles/2208/15/news132.jpg 笑福亭鶴瓶、背中いっぱいの「昇り鯉刺青」にファン仰天 “悪瓶さん”の貫禄あふれる後ろ姿が「迫力ハンパない」
  4. /nl/articles/2208/17/news027.jpg いきがる新人子猫が兄猫に向かっていくと…… 優しくポンッとする姿に「手加減たまらない」「何度見ても笑っちゃう」
  5. /nl/articles/2208/16/news167.jpg アルピー酒井、2カ月10キロ減で中年太り克服 腹筋バキバキの肉体美に「かっこよすぎ!」「めっちゃ痩せてびっくり」
  6. /nl/articles/2208/16/news160.jpg 「にじさんじ」周央サンゴ、ついに志摩スペイン村から公式オファー 園内貸し切りで“限界突破”する激アツ動画に「言葉に表せない感動がある」
  7. /nl/articles/2208/15/news091.jpg 坂口杏里さん、「離婚は成立」と投稿 金銭貸し借り巡るDMさらし「これで終わり」「家族対1ってあまりに酷すぎる」とぶちまけ
  8. /nl/articles/2208/17/news093.jpg 坂口杏里さんの夫、離婚発表から初めての長文投稿 「皆が温かくて涙が止まらない」「ありがとうしか言えない」
  9. /nl/articles/2208/15/news159.jpg ゲオのPS5抽選販売、「購入時にPS4売却」が条件で物議 「なぜPS4を手放さないといけないの?」ゲオに意図を聞いた
  10. /nl/articles/2208/16/news134.jpg 「5x+6=y」をxについて解け 中2なら秒で分かるかもしれないクイズ【算数・式の計算編】

先週の総合アクセスTOP10

  1. この写真の中に“ドラえもん”が紛れています 難易度の高さに「ギブです」「ドラえもんは僕の心の中に」と諦める人続出
  2. 坂口杏里さん、「離婚は成立」と投稿 金銭貸し借り巡るDMさらし「これで終わり」「家族対1ってあまりに酷すぎる」とぶちまけ
  3. がん闘病の秋野暢子、手足の浮腫みで“見たこともない体重”に 抗がん剤の副作用を「しっかり受け止めます」
  4. HIKAKINさん、イベント中に不審者に絡まれマイク奪われる 視聴者から「ガチの放送事故」「無事でよかった」の声
  5. 愛犬に「僕の子猫がいないんです」と呼ばれた飼い主 必死に探すワンコの姿に優しさと愛情があふれている
  6. マックのハンバーガーを食べる娘に「今日のお昼ごはん何?」と聞かれ…… 青ざめる父の1コマに「うちも言う」と反響続々
  7. ダレノガレ明美、韓国でお気に入りのホクロを“ゴミ”だと除去されてしまう 「ドS Dr. ありがとう!」
  8. 笑福亭鶴瓶、背中いっぱいの「昇り鯉刺青」にファン仰天 “悪瓶さん”の貫禄あふれる後ろ姿が「迫力ハンパない」
  9. 娘が路上で子猫を発見→近づくと、突然倒れてしまい…… 保護子猫とのかわいすぎる出会いに「感動した」の声
  10. がん闘病の秋野暢子、激しい副作用とポジティブに格闘 治療で真っ赤な首筋に心配の声も「痛々しい」「見ていて辛い」

先月の総合アクセスTOP10

  1. 安倍元首相、銃で撃たれて意識不明か 事件時のものとみられる映像投稿される
  2. 野口五郎、20歳迎えた娘と誕生日デート 家族同然の西城秀樹さん長女も加わり「楽しい時間でした!」
  3. 「大阪王将」店舗にナメクジやゴキブリが発生? 元従業員の“告発”が衝撃与える 大阪王将「事実関係を調査中」
  4. この画像の中に「さかな」が隠れています 猫に見つからないように必死! 分かるとスッキリする隠し絵クイズに挑戦しよう 【お昼寝編】
  5. ダルビッシュ有&聖子、ドレスアップした夫婦ショットに反響 「ハリウッド俳優やん」「輝いてます」
  6. 「auの信頼度爆上がり」通信障害でも社長の“有能さ”に驚く声多数 一方で「まだ圏外だぞ…」など報告続く
  7. スシロー、“ビール半額”で今度は「ジョッキが小さい」との報告? 運営元「内容量に差異はない」と否定
  8. スシロー「何杯飲んでもビール半額」開始前にPOP掲示 → 注文したら全額請求 投稿者「態度に納得いかなかった」 運営元が謝罪
  9. TKO木下、海外旅行先で総額270万円のスリ被害に エルメスの財布奪われた“瞬間映像”も公開「くっそ〜……」
  10. パパが好きすぎて、畑仕事中も離れない元保護子猫 お外にドキドキしながら背中に乗って応援する姿があいらしい