「VTuberに近づきたい」→JINS MEMEとiPhoneだけでVTuberになれるシステムを実現 開発者に思いを聞いた

メガネに内蔵されたセンサーで頭や視線の動きを読み取り、iPhone上のモデルで表情を再現。

» 2018年05月09日 11時30分 公開
[沓澤真二ねとらぼ]

 「世界一(?)スマートにVTuberになるシステム作った」と、Twitterに投稿された動画が本当にスマートです。モーションセンサーやカメラなどを要さず、メガネ型ウェアラブルデバイス「JINS MEME」とiPhoneだけで、VTuber(バーチャルYouTuber)のようにアバターを動かすシステムを実現しています。


視線 装着者の動作に追随して、アバターの視線や口も動く

おじぎ 装着者に合わせてアバターもペコリ

 JINS MEMEの装着者が頭や視線を動かすと、追随してiPhoneに表示されたアバターの表情が変化。まばたきやしゃべるときの口の動きも、そのまま反映されます。機材がコンパクトなので、場所を選ばずに使える点も便利です。


 これを1日程度で作り上げたという、開発者のイワケン(@tanaka_lit)さんに編集部は仕組みを聞きました。基本的にはJINS MEMEが読み取った装着者の動きを、iOSに送ってアバターに反映させるシステム。内蔵のジャイロセンサーが頭の動きを、眼電位センサーがまばたきや目の動きを、自動的に取得してくれるそうです。口の動きについては、音声から口の動きを再現する「Lipsync」技術を用いているとのこと。

 iOSアプリはJINSが無料公開している、JINS MEME用のSDK(ソフトウェア開発キット)を利用して制作。取得した装着者のデータを元に、アバターに動きや表情をつける仕組みです。

 開発の目的は、大好きなVTuberの世界を広げること。アイデアが浮かび次第新しいシステムをどんどん開発し、興味を持ってくれた人と面白いコンテンツを一緒に考えたいと語っています。今回のシステムを発展させるとしたら、出会った人に装着させてVTuber体験をしてもらい、広めていきたいとも。

 ほかにも、iOSアプリとしてのストア申請や、手の動きの再現、VTuberとして配信できるシステムの追加などを検討しているそうです。あくまでも趣味の活動として収益化はいったん考えず、楽しく面白い方向を目指すと語るイワケンさん。自身もVTuberへ近づきたい思いがあり、YouTube番組の「VRoadCaster」に出演してみたいとのことです。

画像提供:イワケン(@tanaka_lit)さん

(沓澤真二)


Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10
  1. /nl/articles/2403/17/news022.jpg 【追記あり】夫に「油買ってきて」と頼んだのに、手ぶらで帰宅した理由はまさかの…… とんでもないオチに「やめてww」「久しぶりに大爆笑」
  2. /nl/articles/2403/18/news022.jpg 1歳息子の“はじめての寝落ち”が140万再生 10歳兄のやさしい行動に「なにこの平和でかわいい世界」「最高に癒やされる」と絶賛の声
  3. /nl/articles/2403/17/news063.jpg 「予言者いた」「先見の明」 大谷翔平選手&真美子さんの結婚を2021年時点で予言(?)している投稿が発掘され話題に
  4. /nl/articles/2403/17/news047.jpg 北海道内の移動距離を本州と比較したら…… 感覚がバグるマップ画像に「これが北海道」「大きすぎる」
  5. /nl/articles/2403/18/news042.jpg 生後1カ月の赤ちゃん「ぼく泣かないもんねっ」 うるうるおめめとへの字口が「はぁ〜たまらん!」「ぐぁぁああああっっ」取り乱すほどかわいい
  6. /nl/articles/2403/15/news126.jpg 「一番イチャイチャしているように見える」 大谷選手が公開した写真でドジャース山本由伸選手の“手つなぎ”?が話題に 「そっちに目が行く」
  7. /nl/articles/2312/29/news019.jpg 「妻の服を勝手に着て脱げなくなったムキムキ夫とデカワンコ」に爆笑の嵐 シュールすぎる状況が500万表示突破
  8. /nl/articles/2403/18/news025.jpg “おしりが5日で変わる”トレーニング! 「明日からやるか」「1日1回だけなら続けられる」と累計3000万再生突破
  9. /nl/articles/2403/18/news056.jpg 大好きなボールを100個プレゼントされたときのワンコの表情に「放心ww」「引いてない?」 直視できない姿がSNSで話題
  10. /nl/articles/2403/18/news064.jpg 赤ちゃんが妙に静かだと思ったら…… 思わぬものへの“真剣モード”に笑顔になる人続出「たれたもちもちほっぺたまらん!」
先週の総合アクセスTOP10
  1. 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
  2. 昭和時代に“無かった物”が写っている……? 細かすぎて伝わらない「未来から来たことがバレた写真」に6万いいね
  3. 「マジで汚い」「こんなもんです」 辻希美、“大散乱”のリビングと“新”キッチンの差を公開し共感の声集まる
  4. 双子の赤ちゃん、姉が全力でくしゃみして…… 被害にあった妹の反応に「生後3ヶ月でドリフのコントw」「めちゃどっちもカワイイ」と絶賛の声
  5. 「よくも病院に連れてきたな……」とにらむ猫、先生が来た瞬間 驚きの変貌に爆笑の声「これがほんとの猫かぶり」
  6. 急に片耳がたれたワンコ、慌てて病院にいった結果…… 「こんな可愛い診断結果初めて見たよw」「笑っちゃった」と反響
  7. 「何羽いる?」一見普通の“草むら”、よく見ると……? 思わず絶叫まちがいなしの1枚に「どっさりいるw」「まさに迷彩!」
  8. 店員に「この子は懐きませんよ」と言われたチンチラ、家に来て3日後…… 人を信じる姿に「愛が伝わったんですね」
  9. 元SDN48光上せあら、目を離した隙に……子どもが商品を触り“全買取” 「子連れママに厳しすぎないか?」
  10. 柴犬を子どものように育てた結果、人間みたいな行動をするようになった 何気ない幸せな日常に「完全に家族の一員」「全部が愛くるしい」
先月の総合アクセスTOP10
  1. 釣れたキジハタを1年飼ってみると…… 飼い主も驚きの姿に「もはや、魚じゃない」「もう家族やね」と反響
  2. パーカーをガバッとまくり上げて…… 女性インフルエンサー、台湾でボディーライン晒す 上半身露出で物議 「羞恥心どこに置いてきたん?」
  3. “TikTokはエロの宝庫だ” 女性インフルエンサー、水着姿晒した雑誌表紙に苦言 「なんですか? これ?」
  4. 1歳妹を溺愛する18歳兄、しかし妹のひと言に表情が一変「ちがうなぁ!?」 ママも笑っちゃうオチに「かわいいし天才笑」「何度も見ちゃう」
  5. 8歳兄が0歳赤ちゃんを寝かしつけ→2年後の現在は…… 尊く涙が出そうな光景に「可愛すぎる兄妹」「本当に優しい」
  6. 1人遊びに夢中な0歳赤ちゃん、ママの視線に気付いた瞬間…… 100点満点のリアクションにキュン「かわいすぎて鼻血出そう!」
  7. 67歳マダムの「ユニクロ・緑のヒートテック重ね着術」に「色の合わせ方が神すぎる」と称賛 センス抜群の着こなしが参考になる
  8. “双子モデル”りんか&あんな、成長した姿に驚きの声 近影に「こんなにおっきくなって」「ちょっと見ないうちに」
  9. 犬が同じ場所で2年間、トイレをし続けた結果…… 笑っちゃうほど様変わりした光景が379万表示「そこだけボッ!ってw」
  10. 新幹線で「高級ウイスキー」を注文→“予想外のサイズ”に仰天 「むしろすげえ」「家に飾りたい」