中の人の目が動く → 着ぐるみの目も連動してぎょろっ!? リアルに視線を再現するアイトラッキングシステム開発者に仕組みを聞いた(1/2 ページ)

リアルタイムで目の動きを再現。

» 2022年09月20日 18時30分 公開
[関口雄太ねとらぼ]

 着ぐるみの目が、着用者の目と連動して動くアイトラッキング機能がすごいと話題になっています。開発者に完成までの苦労や始めたきっかけについて聞きました。

中の人の目が動く→着ぐるみの目も連動してぎょろっ リアルに視線を再現するアイトラッキングシステム開発者に仕組みを聞いた 着ぐるみの眼球が中の人の目と連動している(右下が内部の画像)

 lutamesta(るためすた/@lutamesta)さんが制作した、着ぐるみで目の動きを再現できるアイトラッキング機能。着ぐるみを着用している人の目線を読み取り、着ぐるみの目で動きを再現します。動画では、左側に着ぐるみ、右側に中の人が目を動かしている様子が確認できます。

 中の人が横を向くと、着ぐるみの目も同じように端へ寄ります。目線だけでなく、まばたきも再現。目をうっすらと閉じると、着ぐるみも同じように目を細めます。

中の人の目が動く→着ぐるみの目も連動してぎょろっ リアルに視線を再現するアイトラッキングシステム開発者に仕組みを聞いた 中の人の目が横を向くと、着ぐるみの視線も横へ
中の人の目が動く→着ぐるみの目も連動してぎょろっ リアルに視線を再現するアイトラッキングシステム開発者に仕組みを聞いた まばたきも再現

 編集部では、開発を始めたきっかけや、完成に至るまでの経緯をlutamestaさんに詳しく聞きました。


――このシステムを作ったきっかけは何かありますか。

lutamestaさん:昔からギミックの類が大好きで、元々はアナログギミック(まぶたが可動して瞬きする目や、閉じたり開いたりできる大型の翼など)を搭載した着ぐるみを作っていました。

 2020年に電子工作を始めて、電子目(小型のディスプレイにきぐるみの目を表示するもの)を作成し、目の柄のチェンジや目の動きの自動運転など改良を重ねていました。が、やはり自分の目の動きで着ぐるみの目を動かしたいなと思い、アイトラッキング機構の作成に至りました。

――どのような仕組みになっているのでしょうか。

lutamestaさん:着ぐるみの頭部内部に搭載されたカメラに中の人の目を映して、プログラム制御で目の動きを読み取らせるという仕組みです。そのデータをもとに、着ぐるみの目として搭載されている2枚のディスプレイに中の人の目の動きと連動した目を表示させています。

 着ぐるみの頭部の中には着ぐるみの電子目とは別にもう1枚ディスプレイが搭載されており、映像がリアルタイムで表示されています。それにより、中の人はカメラの動作に問題がないかとか、今きぐるみの目がどちらを向いているかを大体把握できます。ちなみに、開発中の様子ですが、実物の目と比較した動画もあります

――現在のような完成度の高さに至るまでには、費用も制作時間も相当必要だったのではないかと思います。

lutamestaさん:具体的な金額を言うことは難しいのですが、「このシステムを思いついてから完成までにかかった費用すべて」です。

 アイトラッキング自体はさほど珍しい技術ではなく、公開されている先例もあります。ですが、“きぐるみの内部でも使えるアイトラッキングシステム“となると、自分が知る限り、現在公開されている決定的なハウツーは存在しません。

 とにかく試行錯誤を繰り返してシステムを作りました。部品選びひとつ取っても正解がない状態なので、あれこれ調べては使えそうなものを買って失敗してを繰り返しています。当然ながら結構な額の費用ロスが発生していますが、現状の最適解に至るには必要な過程だったと思います。

 「ハウツーがないことをやろうとすると、ハウツーがあることの何十倍の費用と手間がかかる」ということを知っていただければ幸いです。


 目の見た目や動きにこだわり、アイトラッキング機構の作成にまで至る、lutamestaさんの情熱が伝わってきます。着ぐるみとアイトラッキング機能を組み合わせた創意工夫がとてもすてきです。

 Twitterでは約1万5000件のいいねが寄せられ、「スゲ〜〜!!!ただただスゲ〜〜!!!」と感嘆する声や、「異世界から来た生き物なのではないかと思ってしまう」と完成度の高さに驚いた感想が飛び交っています。

画像提供:lutamesta(るためすた)(@lutamesta)さん

       1|2 次のページへ

Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10
  1. /nl/articles/2404/17/news023.jpg 2カ月赤ちゃん、おばあちゃんに少々強引な寝かしつけをされると…… コントのようなオチに「爆笑!」「可愛すぎて無事昇天」
  2. /nl/articles/2404/16/news192.jpg 「ゆるキャン△」のイメージビジュアルそのまま? 工事の看板イラストが登場キャラにしか見えない 工事担当者「狙いました」
  3. /nl/articles/2404/17/news136.jpg もう別人じゃん! miwa、大胆イメチェンで面影ゼロに「まさかのこんな色になってるとは」「だれー!?」
  4. /nl/articles/2404/17/news111.jpg 「ぶち抜きたいです」 辻希美、懇願拒否された13歳長男が“荒くれ反抗”……息子の室内破壊に嫌悪あらわ「言葉が出ない」
  5. /nl/articles/2404/16/news185.jpg 異世界転生したローソン出現 ラスボスに挑む前のショップみたいで「合成かと思った」「日本にあるんだ」
  6. /nl/articles/2404/17/news029.jpg 「キュウリが冷凍できるとは76年も生きて来て知らんかったなあ」 野菜ソムリエプロが教える冷凍&活用アイデアが328万再生
  7. /nl/articles/2404/17/news117.jpg 「虎に翼」、壮絶過去演じた16歳俳優に注目の声「違国日記の子か!」 「ブラッシュアップライフ」にも出演
  8. /nl/articles/2404/17/news025.jpg 築36年物件の暗くてボロいトイレをリメイク→ぐーんと垢抜け! 驚きのビフォアフに「すごいですね!」「天才」の声
  9. /nl/articles/2404/15/news081.jpg 【今日の計算】「13+8×2−11」を計算せよ
  10. /nl/articles/2211/26/news054.jpg 辻希美&杉浦太陽、15歳迎えた長女のレアな“顔出しショット”でお祝い 最近は「恋バナ」で盛り上がることも
先週の総合アクセスTOP10
  1. 生後2カ月の赤ちゃんにママが話しかけると、次の瞬間かわいすぎる反応が! 「天使」「なんか泣けてきた」と癒やされた人続出
  2. 車検に出した軽トラの荷台に乗っていた生後3日の子猫、保護して育てた3年後…… 驚きの現在に大反響「天使が女神に」「目眩が」
  3. 安達祐実、成人した娘とのレアな2ショット披露 「ママには見えない!」「とても似ててびっくり」と驚きの声
  4. 兄が10歳下の妹に無償の愛を注ぎ続けて2年後…… ママも驚きの光景に「尊すぎてコメントが浮かばねぇ」「最高のにいに」
  5. “これが普通だと思っていた柴犬のお風呂の入れ方が特殊すぎた” 予想外の体勢に「今まで観てきた入浴法で1番かわいい」
  6. 「虎に翼」、新キャラの俳優に注目が集まる 「綺麗な人だね」「まさか日本のドラマでお目にかかれるとは!」
  7. 「葬送のフリーレン」ユーベルのコスプレがまるで実写版 「ジト目が完璧」と27万いいねの好評
  8. お花見でも大活躍する「2杯のドリンクを片手で持つ方法」 目からウロコの裏技に「えぇーーすごーーい」「やってみます!」
  9. 弟から出産祝いをもらったら…… 爆笑の悲劇に「めっちゃおもろ可愛いんだけどw」「笑いこらえるの無理でした」
  10. 3カ月の赤ちゃん、パパに“しーっ”とされた反応が「可愛いぁぁぁぁ」と200万再生 無邪気なお返事としぐさから幸せがあふれ出す
先月の総合アクセスTOP10
  1. フワちゃん、弟の結婚式で卑劣な行為に「席次見て名前覚えたからな」 めでたい場でのひんしゅく行為に「プライベート守ろうよ!」の声
  2. 親が「絶対たぬき」「賭けてもいい」と言い張る動物を、保護して育ててみた結果…… 驚愕の正体が230万表示「こんなん噴くわ!」
  3. 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
  4. フワちゃん、収録中に見えてはいけない“部位”が映る まさかの露出に「拡大しちゃったじゃん」「またか」の声
  5. スーパーで売れ残っていた半額のカニを水槽に入れてみたら…… 220万再生された涙の結末に「切なくなった」「凄く感動」
  6. 桐朋高等学校、78期卒業生の答辞に賛辞やまず 「只者ではない」「感動のあまり泣いて10回読み直した」
  7. 「これは悲劇」 ヤマザキ“春のパンまつり”シールを集めていたはずなのに…… 途中で気づいたまさかの現実
  8. 「ふざけんな」 宿泊施設に「キャンセル料金を払わなくする方法」が物議 宿泊施設「大目に見てきたが厳格化する」
  9. がん闘病中の見栄晴、20回以上の放射線治療を受け変化が…… 「痛がゆくなって来ました」
  10. 食べ終わったパイナップルの葉を土に植えたら…… 3年半後、目を疑う結果に「もう、ただただ感動です」「ちょっと泣きそう」