「VTuberに近づきたい」→JINS MEMEとiPhoneだけでVTuberになれるシステムを実現 開発者に思いを聞いた
メガネに内蔵されたセンサーで頭や視線の動きを読み取り、iPhone上のモデルで表情を再現。
「世界一(?)スマートにVTuberになるシステム作った」と、Twitterに投稿された動画が本当にスマートです。モーションセンサーやカメラなどを要さず、メガネ型ウェアラブルデバイス「JINS MEME」とiPhoneだけで、VTuber(バーチャルYouTuber)のようにアバターを動かすシステムを実現しています。
JINS MEMEの装着者が頭や視線を動かすと、追随してiPhoneに表示されたアバターの表情が変化。まばたきやしゃべるときの口の動きも、そのまま反映されます。機材がコンパクトなので、場所を選ばずに使える点も便利です。
これを1日程度で作り上げたという、開発者のイワケン(@tanaka_lit)さんに編集部は仕組みを聞きました。基本的にはJINS MEMEが読み取った装着者の動きを、iOSに送ってアバターに反映させるシステム。内蔵のジャイロセンサーが頭の動きを、眼電位センサーがまばたきや目の動きを、自動的に取得してくれるそうです。口の動きについては、音声から口の動きを再現する「Lipsync」技術を用いているとのこと。
iOSアプリはJINSが無料公開している、JINS MEME用のSDK(ソフトウェア開発キット)を利用して制作。取得した装着者のデータを元に、アバターに動きや表情をつける仕組みです。
開発の目的は、大好きなVTuberの世界を広げること。アイデアが浮かび次第新しいシステムをどんどん開発し、興味を持ってくれた人と面白いコンテンツを一緒に考えたいと語っています。今回のシステムを発展させるとしたら、出会った人に装着させてVTuber体験をしてもらい、広めていきたいとも。
ほかにも、iOSアプリとしてのストア申請や、手の動きの再現、VTuberとして配信できるシステムの追加などを検討しているそうです。あくまでも趣味の活動として収益化はいったん考えず、楽しく面白い方向を目指すと語るイワケンさん。自身もVTuberへ近づきたい思いがあり、YouTube番組の「VRoadCaster」に出演してみたいとのことです。
(沓澤真二)
関連記事
- バーチャルキャラになって配信できるサービス「バーチャルキャスト」 ドワンゴとインフィニットループが提供
他のユーザーの配信に乱入したりできます。 - 宇宙だ…… バーチャルYouTuberのチャンネル登録者数をアイコンで表現した動画に「感動した」「センスありすぎ」の声
謎の感動。 - ドラえもんの世界がここに実現! 目の動きでスマホを操作する次世代メガネ「JINS MEME」を体験してみた
気分はもう魔法使いなの〜。 - 3Dスキャンした実写アバターで「VRオフ会」する猛者が登場 もはやオフなのかオンなのか分からないと話題に
どういうことなの……。 - 話題の「バーチャルYouTuber」はなぜ突然ブレークしたのか? 今、このバーチャルYouTuberを見逃すな!
バラバラに出たのに、みんなで1つに見える不思議。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
-
身長174センチの女性アイドルに「ここは女性専用車両です!!!」 電車内で突如怒られ「声か、、、」と嘆き 「理不尽すぎる」と反響の声
-
元「AKB48」メンバー、整形に250万円の近影に驚きの声「整形しすぎてて原型なくなっててびびった」
-
小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
-
築年数不明の平屋にある、ボロボロ床板をはがしてみたら…… 発覚したヤバい事実に「ビックリ!」「大丈夫でしたか?」心配と驚きの声
-
ママの足にくっつく生後7カ月の赤ちゃん、甘えてるのかと思いきや…… 計算された行動と「ちいこい後ろ姿がかわいすぎ」て目が離せない
-
「電車の中で見ちゃダメ」「笑ったww」 実家からLINE「子ヤギがすばしっこくて捕まらない」→送られてきた衝撃姿が320万表示!
-
“作画軽減ガンダム”をガンプラで作成 → 使用パーツも最小限の再現ぶりに「完全に一致」「部品軽減ガンダム」
-
誰も教えてくれなかった“裁縫の裏ワザ”が目からウロコ 200万再生のライフハックに「画期的」と称賛【海外】
-
21歳の無名アイドル、ビジュアル拡散で「あの頃の橋本環奈すぎる」とSNS騒然 「実物の方が可愛い」「見つかっちゃったなー」の声も
-
0歳赤ちゃん「(ママ来たっ!)」→喜びが抑えきれなくて…… 尊すぎるダンスが300万再生「心が浄化されていく」「朝から癒やされました」
- 小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
- 富山県警のX投稿に登場の女性白バイ隊員に過去一注目集まる「可愛い過ぎて、取締り情報が入ってこない」
- 2カ月赤ちゃん、おばあちゃんに少々強引な寝かしつけをされると…… コントのようなオチに「爆笑!」「可愛すぎて無事昇天」
- 異世界転生したローソン出現 ラスボスに挑む前のショップみたいで「合成かと思った」「日本にあるんだ」
- 【今日の計算】「8+9÷3−5」を計算せよ
- 21歳の無名アイドル、ビジュアル拡散で「あの頃の橋本環奈すぎる」とSNS騒然 「実物の方が可愛い」「見つかっちゃったなー」の声も
- 1歳赤ちゃん、寝る時間に現れないと思ったら…… 思わぬお仲間連れとご紹介が「めっちゃくちゃ可愛い」と220万再生
- 業務スーパーで買ったアサリに豆乳を与えて育てたら…… 数日後の摩訶不思議な変化に「面白い」「ちゃんと豆乳を食べてた?」
- 祖母から継いだ築80年の古家で「謎の箱」を発見→開けてみると…… 驚きの中身に「うわー!スゴッ」「かなり高価だと思いますよ!」
- 「妹が入学式に着るワンピース作ってみた!」 こだわり満載のクラシカルな一着に「すごすぎて意味わからない」「涙が出ました」
- フワちゃん、弟の結婚式で卑劣な行為に「席次見て名前覚えたからな」 めでたい場でのひんしゅく行為に「プライベート守ろうよ!」の声
- 親が「絶対たぬき」「賭けてもいい」と言い張る動物を、保護して育ててみた結果…… 驚愕の正体が230万表示「こんなん噴くわ!」
- 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
- フワちゃん、収録中に見えてはいけない“部位”が映る まさかの露出に「拡大しちゃったじゃん」「またか」の声
- スーパーで売れ残っていた半額のカニを水槽に入れてみたら…… 220万再生された涙の結末に「切なくなった」「凄く感動」
- 桐朋高等学校、78期卒業生の答辞に賛辞やまず 「只者ではない」「感動のあまり泣いて10回読み直した」
- 「これは悲劇」 ヤマザキ“春のパンまつり”シールを集めていたはずなのに…… 途中で気づいたまさかの現実
- 「ふざけんな」 宿泊施設に「キャンセル料金を払わなくする方法」が物議 宿泊施設「大目に見てきたが厳格化する」
- がん闘病中の見栄晴、20回以上の放射線治療を受け変化が…… 「痛がゆくなって来ました」
- 食べ終わったパイナップルの葉を土に植えたら…… 3年半後、目を疑う結果に「もう、ただただ感動です」「ちょっと泣きそう」