ニュース
» 2018年05月09日 11時30分 公開

「VTuberに近づきたい」→JINS MEMEとiPhoneだけでVTuberになれるシステムを実現 開発者に思いを聞いた

メガネに内蔵されたセンサーで頭や視線の動きを読み取り、iPhone上のモデルで表情を再現。

[沓澤真二,ねとらぼ]

 「世界一(?)スマートにVTuberになるシステム作った」と、Twitterに投稿された動画が本当にスマートです。モーションセンサーやカメラなどを要さず、メガネ型ウェアラブルデバイス「JINS MEME」とiPhoneだけで、VTuber(バーチャルYouTuber)のようにアバターを動かすシステムを実現しています。


視線 装着者の動作に追随して、アバターの視線や口も動く

おじぎ 装着者に合わせてアバターもペコリ

 JINS MEMEの装着者が頭や視線を動かすと、追随してiPhoneに表示されたアバターの表情が変化。まばたきやしゃべるときの口の動きも、そのまま反映されます。機材がコンパクトなので、場所を選ばずに使える点も便利です。


 これを1日程度で作り上げたという、開発者のイワケン(@tanaka_lit)さんに編集部は仕組みを聞きました。基本的にはJINS MEMEが読み取った装着者の動きを、iOSに送ってアバターに反映させるシステム。内蔵のジャイロセンサーが頭の動きを、眼電位センサーがまばたきや目の動きを、自動的に取得してくれるそうです。口の動きについては、音声から口の動きを再現する「Lipsync」技術を用いているとのこと。

 iOSアプリはJINSが無料公開している、JINS MEME用のSDK(ソフトウェア開発キット)を利用して制作。取得した装着者のデータを元に、アバターに動きや表情をつける仕組みです。

 開発の目的は、大好きなVTuberの世界を広げること。アイデアが浮かび次第新しいシステムをどんどん開発し、興味を持ってくれた人と面白いコンテンツを一緒に考えたいと語っています。今回のシステムを発展させるとしたら、出会った人に装着させてVTuber体験をしてもらい、広めていきたいとも。

 ほかにも、iOSアプリとしてのストア申請や、手の動きの再現、VTuberとして配信できるシステムの追加などを検討しているそうです。あくまでも趣味の活動として収益化はいったん考えず、楽しく面白い方向を目指すと語るイワケンさん。自身もVTuberへ近づきたい思いがあり、YouTube番組の「VRoadCaster」に出演してみたいとのことです。

画像提供:イワケン(@tanaka_lit)さん

(沓澤真二)


Copyright © ITmedia, Inc. All Rights Reserved.

先週の総合アクセスTOP10

  1. 「訃報」「愛猫」「手風琴」って読める? 常用漢字表に掲載されている“難読漢字”
  2. 嫌がらせ急ブレーキで追突 トラクターの進路を妨害した「あおり運転」ベンツ、ぶつけられたと運転手がブチギレ
  3. 猫「雪なんてへっちゃらニャー!」 雪の中を豪快に突き進む猫ちゃんに「ラッセル車みたい」「ワイルドかわいい」の声
  4. 「Lチキひとつ」 → 買った物をよくみると? コンビニで犯したありがちな間違いを描いた4コマに「あるある」「逆もある」
  5. 柴犬「きゃほほーーい!!」 初めての雪に“喜びが限界突破した”ワンコの駆け回る姿がかわいい
  6. 「ホント太るのって簡単!」「あっという間に70キロ」 内山信二の妻、夫に生活リズムを合わせた“ふとっちょ時代”公開
  7. ルーフから赤色灯がひょっこり 埼玉県警、スバル「WRX S4」覆面パトカー3台を追加導入!? Twitterにアップされた目撃情報が話題に
  8. 益若つばさ、YouTubeで12歳息子と共演 礼儀正しい振る舞いに「教育がちゃんとされてる」
  9. トップの座を奪われ……美大生が天才の編入生を刺し“殺す”漫画に「泣きそう」「同じ経験した」の声
  10. タイからバズーカ砲をかかかえたようなミニバイク「GUNNER50」が日本上陸 思わずキュンと来ちゃうやばいデザイン