しゃべった内容、リアルタイムで字幕化して映像に合成 ビデオ会議が便利になるシステムに注目集まる
耳が聞こえにくい人とのコミュニケーションが向上しそうです。
ビデオ会議やネット発表会が増える中、話した内容をリアルタイムで字幕化してWebカメラ映像に合成するシステムを開発する人が現れて注目を集めています。
開発したのは筑波大学大学院修士課程の鈴木一平(@1heisuzuki)さん。カメラとマイクをオンにしてGoogle ChromeからWebサイトにアクセスすると、話したことをリアルタイムで音声認識してWebカメラの映像に字幕として表示します。
ブラウザの画面をキャプチャーしたり共有したりしてビデオ会議ツールに表示すると、字幕付きで会議に参加することが可能。音声認識結果のログをダウンロードすることもできます。ソースコードはGitHubで公開されています。
鈴木さんが公開したデモ映像では、話している内容がかなりの速さと精度で字幕に変換されています。編集部でも試したところ、話したことがサクサクと文字に起こされて驚きました。
鈴木さんはこのサイトの「元ネタ」として、落合陽一さんが投稿した動画を挙げています。落合さんは動画で、ビデオ会議で耳が聞こえにくい人とスムーズにコミュニケーションできるよう、Googleのアプリを使って音声を字幕化して映像に重ねる方法を紹介しています。
同じく落合さんに触発された同志社大学研究員でピクシーダストテクノロジーズのリードエンジニア、長谷芳樹(@nagataniyoshiki)さんが開発した、PCとAndroid端末と無料ツールで音声を字幕化して映像に合成するシステムも注目を集めました。字幕のみならず映像と合成することで、聴覚障害者が字幕と唇の動きを併用して会話できると説明しています。こちらのデモ映像もかなりの精度で字幕がリアルタイムに生成されている様子が分かります。
他にも、iPhoneとMacで同様のシステムを開発する人も現れており、今後さらに多くの選択肢が生まれていきそうです。
協力:鈴木一平(@1heisuzuki)さん、長谷芳樹(@nagataniyoshiki)さん
関連記事
Copyright © ITmedia, Inc. All Rights Reserved.
-
「情報を漏らされ振り回され……」とモデラー“限界声明” Vtuberのモデル使用権を剥奪 「もう支えられない」「全サポート終了」
-
「うどん屋としてあるまじきミス」→臨時休業 まさかの“残念すぎる理由”に19万いいね 「今日だけパン屋さんになりませんか」
-
“ドームでライブ中”に「76万円の指輪紛失」→2日後まさかの展開に “持ち主”三代目JSBメンバー「誰なのか探しています」
-
高畑充希と結婚の岡田将生、インスタ投稿めぐり“思わぬ議論”に 「わたしも思ってた」「普通に考えて……」
-
「本当に同じ人!?」 幼少期からイボをいじられていた男性→美容師の“お任せカット”が衝撃 「めちゃくちゃ大変身」
-
「おててだったのかぁああああ」「同じ解釈の人いた笑笑」 ピカチュウの顔が“こう見えた”再現イラストに共感続々、464万表示
-
「腹筋崩壊」 ハスキーをシャンプー&パックしたら…… “予想外のハプニング”に「こ〜れは大変だわ」「沼にでも落ちたのかとwww」
-
“歌姫”ののちゃん、6歳現在の姿に驚きの声「あれっ!?」「ビックリしてます!」 2歳で「童謡こどもの歌コンクール」銀賞受賞
-
黄ばみのある68年前のウエディングドレスを修復すると…… 生まれ変わった姿に「泣いた」「受け継ぐ価値のあるドレス」
-
走行中の車から同じ速さで後方へ飛び降りると? 体を張った実験に反響「問題文が現実世界で実行」【海外】
- 「飼いきれなくなったからタダで持ってきなよ」と言われ飼育放棄された超大型犬を保護→ 1年後の今は…… 飼い主に聞いた
- ドクダミを手で抜かず、ハサミで切ると…… 目からウロコの検証結果が435万再生「凄い事が起こった」「逆効果だったとは」
- 「明らかに……」 大谷翔平の妻・真美子さんの“手腕”を米メディアが称賛 「大谷は野球に専念すべき」
- まるで星空……!! ダイソーの糸を組み合わせ、ひたすら編む→完成したウットリするほど美しい模様に「キュンキュンきます」「夜雪にも見える」
- 妻が“13歳下&身長137センチ”で「警察から職質」 年齢差&身長差がすごい夫婦、苦悩を明かす
- 人生初の彼女は58歳で「両親より年上」 “33歳差カップル”が強烈なインパクトで話題 “古風を極めた”新居も公開
- 「ごめん母さん。塩20キロ届く」LINEで謝罪 → お母さんからの返信が「最高」「まじで好きw」と話題に
- 互いの「素顔を知ったのは交際1ケ月後」 “聖飢魔IIの熱狂的ファン夫婦”の妻の悩み→「総額396万円分の……」
- ユニクロが教える“これからの季節に持っておきたい”1枚に「これ、3枚色違いで買いました!」「今年も色違い買い足します!」と反響
- 中央道から「宇宙戦艦ヤマト」が見える! 驚きの写真がSNSで注目集める 「結構でかい」「どう見てもヤマト」 撮影者の心境を聞いた
- 50年前に撮った祖母の写真を、孫の写真と並べてみたら…… 面影が重なる美ぼうが「やばい」と640万再生 大バズリした投稿者に話を聞いた
- 「食中毒出すつもりか」 人気ラーメン店の代表が“スシローコラボ”に激怒 “チャーシュー生焼け疑惑”で苦言 運営元に話を聞いた
- フォロワー20万人超の32歳インフルエンサー、逝去数日前に配信番組“急きょ終了” 共演者は「今何も話せないという状態」「苦しい」
- 「顔が違う??」 伊藤英明、見た目が激変した近影に「どうした眉毛」「誰かとおもた…眉毛って大事」とネット仰天
- 「ごめん母さん。塩20キロ届く」LINEで謝罪 → お母さんからの返信が「最高」「まじで好きw」と話題に
- 星型に切った冷えピタを水に漬けたら…… 思ったのと違う“なにこれな物体”に「最初っから最後まで思い通りにならない満足感」「全部グダグダ」
- 「泣いても泣いても涙が」 北斗晶、“家族の死”を報告 「別れの日がこんなに急に来るなんて」
- ジャングルと化した廃墟を、14日間ひたすら草刈りした結果…… 現した“本当の姿”に「すごすぎてビックリ」「素晴らしい」
- 母親は俳優で「朝ドラのヒロイン」 “24歳の息子”がアイドルとして活躍中 「強い遺伝子を受け継いだ……」と注目集める
- 「幻の個体」と言われ、1匹1万円で購入した観賞魚が半年後…… 笑っちゃうほどの変化に反響→現在どうなったか飼い主に聞いた