スマホだけでリアルタイムに背景を合成できる「バーチャルスタジオカメラ」がすごい

「Yahoo! JAPAN Hack Day 2018」で最優秀賞を取りました。

» 2019年01月02日 09時00分 公開
[黒田順一郎，ねとらぼ]

　12月に開催されたクリエイター・フェスティバル「Yahoo! JAPAN Hack Day 2018」のハッカソンステージで、特殊な機材を使わなくてもスマホだけで背景を合成できるソフト「バーチャルスタジオカメラ」が最優秀賞を受賞しました。作成したのはチーム「二郎は野菜ニンニク派」。この企画はたった24時間で作品を作らなければならないという縛りがあるのですが、とてもそうとは思えないほど実用的な仕上がりになっています。

バーチャルスタジオカメラの紹介は2時間23分24秒から
バーチャルスタジオカメラ バーチャルスタジオカメラ

　普通、背景合成を行う場合は緑や青の布を背景に撮影したり、特殊な機材が必要になったりします。バーチャルスタジオカメラのすごいところは、そのような手間や機材を一切必要とせず、スマートフォン1台で背景合成ができる点にあります。

背景合成は大変 背景合成は大変

　バーチャルスタジオカメラでは、ソフトが自動的に人物を認識し、画像からその部分だけを切り取って別に用意した背景と合成するといった処理を行っています。例えばユーチューバーが自室から動画を配信するとき、自分しか映さず、部屋を見せないといったことが可能です。背景として合成できる画像は任意に設定でき、たとえばワープゾーンにいるような特殊エフェクトを入れたり、あらかじめ用意した動画やリアルタイムの映像にその場で合成するといった、さまざまな使い方が可能です。

好きな画像に合成可能 好きな画像に合成可能
リアルタイムの動画にも リアルタイムの動画にも

　同ソフトを動かすには、iPhone Xなどに搭載されているTrueDepthカメラが必要です。ソフトを企画してから受賞にいたるまでの様子がチームメンバーのnoteにまとめられているので、興味のある人はチェックしてみてください。

　ハッカソンステージは、クリエイターが24時間で作り上げた作品――アプリ、ガジェット、メディアアートなどを90秒でプレゼンして、そのできばえを競いますが、その中で司会が発した「今すぐやりたいです！　すぐ使いたいです！」というコメントが印象的でした。YouTuberの動画作成、ゲームのライブ配信、ちょっとした自作映画など、いろいろなことに使えそうですね。

Copyright © ITmedia, Inc. All Rights Reserved.

先週の総合アクセスTOP10
  1. 小1娘、ペンギンの卵を楽しみに育ててみたら……　期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
  2. 富山県警のX投稿に登場の女性白バイ隊員に過去一注目集まる「可愛い過ぎて、取締り情報が入ってこない」
  3. 2カ月赤ちゃん、おばあちゃんに少々強引な寝かしつけをされると……　コントのようなオチに「爆笑！」「可愛すぎて無事昇天」
  4. 異世界転生したローソン出現　ラスボスに挑む前のショップみたいで「合成かと思った」「日本にあるんだ」
  5. 【今日の計算】「8＋9÷3−5」を計算せよ
  6. 21歳の無名アイドル、ビジュアル拡散で「あの頃の橋本環奈すぎる」とSNS騒然　「実物の方が可愛い」「見つかっちゃったなー」の声も
  7. 1歳赤ちゃん、寝る時間に現れないと思ったら……　思わぬお仲間連れとご紹介が「めっちゃくちゃ可愛い」と220万再生
  8. 業務スーパーで買ったアサリに豆乳を与えて育てたら……　数日後の摩訶不思議な変化に「面白い」「ちゃんと豆乳を食べてた？」
  9. 祖母から継いだ築80年の古家で「謎の箱」を発見→開けてみると……　驚きの中身に「うわー！スゴッ」「かなり高価だと思いますよ！」
  10. 「妹が入学式に着るワンピース作ってみた！」　こだわり満載のクラシカルな一着に「すごすぎて意味わからない」「涙が出ました」
先月の総合アクセスTOP10
  1. フワちゃん、弟の結婚式で卑劣な行為に「席次見て名前覚えたからな」　めでたい場でのひんしゅく行為に「プライベート守ろうよ！」の声
  2. 親が「絶対たぬき」「賭けてもいい」と言い張る動物を、保護して育ててみた結果……　驚愕の正体が230万表示「こんなん噴くわ！」
  3. 水道検針員から直筆の手紙、驚き確認すると……　メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
  4. フワちゃん、収録中に見えてはいけない“部位”が映る　まさかの露出に「拡大しちゃったじゃん」「またか」の声
  5. スーパーで売れ残っていた半額のカニを水槽に入れてみたら……　220万再生された涙の結末に「切なくなった」「凄く感動」
  6. 桐朋高等学校、78期卒業生の答辞に賛辞やまず　「只者ではない」「感動のあまり泣いて10回読み直した」
  7. 「これは悲劇」　ヤマザキ“春のパンまつり”シールを集めていたはずなのに……　途中で気づいたまさかの現実
  8. 「ふざけんな」　宿泊施設に「キャンセル料金を払わなくする方法」が物議　宿泊施設「大目に見てきたが厳格化する」
  9. がん闘病中の見栄晴、20回以上の放射線治療を受け変化が……　「痛がゆくなって来ました」
  10. 食べ終わったパイナップルの葉を土に植えたら……　3年半後、目を疑う結果に「もう、ただただ感動です」「ちょっと泣きそう」