「VTuberに近づきたい」→JINS MEMEとiPhoneだけでVTuberになれるシステムを実現 開発者に思いを聞いた

メガネに内蔵されたセンサーで頭や視線の動きを読み取り、iPhone上のモデルで表情を再現。

[沓澤真二，ねとらぼ]

　「世界一（？）スマートにVTuberになるシステム作った」と、Twitterに投稿された動画が本当にスマートです。モーションセンサーやカメラなどを要さず、メガネ型ウェアラブルデバイス「JINS MEME」とiPhoneだけで、VTuber（バーチャルYouTuber）のようにアバターを動かすシステムを実現しています。

装着者の動作に追随して、アバターの視線や口も動く

装着者に合わせてアバターもペコリ

　JINS MEMEの装着者が頭や視線を動かすと、追随してiPhoneに表示されたアバターの表情が変化。まばたきやしゃべるときの口の動きも、そのまま反映されます。機材がコンパクトなので、場所を選ばずに使える点も便利です。

　これを1日程度で作り上げたという、開発者のイワケン（@tanaka_lit）さんに編集部は仕組みを聞きました。基本的にはJINS MEMEが読み取った装着者の動きを、iOSに送ってアバターに反映させるシステム。内蔵のジャイロセンサーが頭の動きを、眼電位センサーがまばたきや目の動きを、自動的に取得してくれるそうです。口の動きについては、音声から口の動きを再現する「Lipsync」技術を用いているとのこと。

　iOSアプリはJINSが無料公開している、JINS MEME用のSDK（ソフトウェア開発キット）を利用して制作。取得した装着者のデータを元に、アバターに動きや表情をつける仕組みです。

　開発の目的は、大好きなVTuberの世界を広げること。アイデアが浮かび次第新しいシステムをどんどん開発し、興味を持ってくれた人と面白いコンテンツを一緒に考えたいと語っています。今回のシステムを発展させるとしたら、出会った人に装着させてVTuber体験をしてもらい、広めていきたいとも。

　ほかにも、iOSアプリとしてのストア申請や、手の動きの再現、VTuberとして配信できるシステムの追加などを検討しているそうです。あくまでも趣味の活動として収益化はいったん考えず、楽しく面白い方向を目指すと語るイワケンさん。自身もVTuberへ近づきたい思いがあり、YouTube番組の「VRoadCaster」に出演してみたいとのことです。

画像提供：イワケン（@tanaka_lit）さん

（沓澤真二）