スマホだけでリアルタイムに背景を合成できる「バーチャルスタジオカメラ」がすごい

「Yahoo! JAPAN Hack Day 2018」で最優秀賞を取りました。

[黒田順一郎，ねとらぼ]

　12月に開催されたクリエイター・フェスティバル「Yahoo! JAPAN Hack Day 2018」のハッカソンステージで、特殊な機材を使わなくてもスマホだけで背景を合成できるソフト「バーチャルスタジオカメラ」が最優秀賞を受賞しました。作成したのはチーム「二郎は野菜ニンニク派」。この企画はたった24時間で作品を作らなければならないという縛りがあるのですが、とてもそうとは思えないほど実用的な仕上がりになっています。

バーチャルスタジオカメラ

　普通、背景合成を行う場合は緑や青の布を背景に撮影したり、特殊な機材が必要になったりします。バーチャルスタジオカメラのすごいところは、そのような手間や機材を一切必要とせず、スマートフォン1台で背景合成ができる点にあります。

背景合成は大変

　バーチャルスタジオカメラでは、ソフトが自動的に人物を認識し、画像からその部分だけを切り取って別に用意した背景と合成するといった処理を行っています。例えばユーチューバーが自室から動画を配信するとき、自分しか映さず、部屋を見せないといったことが可能です。背景として合成できる画像は任意に設定でき、たとえばワープゾーンにいるような特殊エフェクトを入れたり、あらかじめ用意した動画やリアルタイムの映像にその場で合成するといった、さまざまな使い方が可能です。

好きな画像に合成可能

リアルタイムの動画にも

　同ソフトを動かすには、iPhone Xなどに搭載されているTrueDepthカメラが必要です。ソフトを企画してから受賞にいたるまでの様子がチームメンバーのnoteにまとめられているので、興味のある人はチェックしてみてください。

　ハッカソンステージは、クリエイターが24時間で作り上げた作品――アプリ、ガジェット、メディアアートなどを90秒でプレゼンして、そのできばえを競いますが、その中で司会が発した「今すぐやりたいです！　すぐ使いたいです！」というコメントが印象的でした。YouTuberの動画作成、ゲームのライブ配信、ちょっとした自作映画など、いろいろなことに使えそうですね。