リスナーとクリエイターの境界をあいまいにする産総研「Songle」が本格稼働
「ぼかりす」メンバーが音楽鑑賞を新たな次元に押し上げる。「能動的音楽鑑賞」ってなに?
「ぼかりす」ことVocaListenerのメンバーがまたやってくれた。産業技術総合研究所(産総研)情報技術研究部門の後藤真孝氏、中野倫靖氏、吉井和佳氏、藤原弘将氏が開発した「Songle」は音楽鑑賞を新次元に押し上げる画期的なものだ。後藤氏はこれを「能動的音楽鑑賞」と呼ぶ。
Songleは今年の2月からβ版として限定的に運用されていたが、8月29日に大幅に機能強化し一般公開された。どこが能動的なのか。これまでの音楽鑑賞といったいどこが違うのか。
このシステムの背景にあるのは、音楽、特にポピュラーミュージックの楽曲を構造化して再利用可能なものにしていこうという、後藤氏らによる長年の取り組みだ。歌声とバッキングが入り交じった楽曲からボーカルのメロディーのみを取り出したり、同様に楽曲からCやAmなどのコードを抽出したり、サビはここからここまでと推定したりする研究が産総研で行われ、そのうちいくつかは特許を取得している。これらをリスナー向けにアレンジし、まとめあげたサービスがSongleだといってもいい。
SongleはWebブラウザで汎用的に利用できる、誰でも無料で使える。高性能な機種であれば、Flashの動作するAndroidでも動く。そこで何ができるのか、見ていこう。
Songleで特徴的なのは、MP3形式の楽曲データから解析を行い4つの代表的な音楽要素(サビなどの楽曲構造、コード、メロディー、ビート)を抽出。楽曲を再生しながらそれらの要素を「音楽の地図」として可視化できるという点にある。音楽要素を解析する技術としては、ソニーの12音解析があるが、ムードなどに応じたレコメンデーションに使うくらいで、ユーザーが利用できる形での実装は現時点では行われていないようだ。
Songleでは具体的にはこんなことができる:
- Aメロ、Bメロ、サビの部分を特定し、「サビだけ再生」などができる
- 楽曲を流しながらその再生部分のコードを表示
- 歌のメロディーがピアノロール(音楽制作ソフトでよく使われるメロディーの表示形式)で表示される
- 小節の始まり、ビートが分かる
- これらの情報をフル活用したビジュアライザーが用意されている(鍵盤を模した立方体が回転し、コードに従って色が変わり、ビートに合わせて鼓動し、サビのところではエフェクトが派手になる)
- 簡易的なビジュアライザーが入ったプレイヤースクリプトを自分のブログなどに貼り付けることができる
- コード進行検索ができる
- 投稿された解析データが間違っている場合にはユーザーがブラウザ上で修正することができる
音楽に詳しい人がそばにいて、この曲はこういう構造で、コードはこうなっていてと解説してくれる感じだ。
ネット上にあるMP3ファイルでURLとして渡せるものであればSongleに解析させることは可能だ。さらに、音楽配信サイトと協力することで、一連の流れを簡略化することもできる。その一例がクリプトン・フューチャー・メディアのピアプロだ。初音ミク登場後すぐに公開された音楽・イラストのCGM投稿サイトであるピアプロは、既に8万曲ものオリジナル曲が登録されている。そのすべてがSongleに登録可能になっている。
さらに、今回追加された埋め込みプレーヤー用ビジュアライザを、初音ミクの英語版CGMサイトであるMIKUBOOK.comで採用。初音ミク生誕5周年企画の中で、ブラウザ画面をフルに使った簡易ビジュアライザーを利用できる。この部分はクリプトンの研究開発部門がさらに拡張を行ったようだ。
いったんSongleで解析さえすれば、VJが自動でできること以上のビジュアルエフェクトをかけられる。このビジュアライザーをそのまま動画にして、あとは歌詞を追加すれば相当にいい完成動画が簡単にできそうだ。クラウドベースの音楽サービス、携帯音楽プレーヤー、スマートフォンのアプリ、音ゲーなど、提携次第ではさまざまな分野への応用も可能だろう。
このプロジェクトが継続されれば、数万曲、数十万曲の楽曲の構造データが集積されることになる。後藤氏は「計算可能になっていくということ。高い関心を持っている」としており、今後の研究の素材となりそうだ。
ネットでの音楽配信により多量の楽曲に触れることができる現在の「量的な変化」に対し、さらに音楽をより深く理解して聴くことができる「質的な変化」をもたらそうとする後藤氏らの取り組み。普通のリスナーはどのように受け止めるだろうか?
関連記事
- ねとらぼ:初音ミクの“神調教”が自動で!? 「ぼかりす」に話題騒然
初音ミクの“神調教”が自動でできるという「ぼかりす」という技術にネット騒然。「人間オワタ」という声も。 - Mac対応は? ぼかりすは? VOCALOID3の秘密を追ってみた
ヤマハが発表した「VOCALOID3」は従来版からさまさまな改良が加えられ、製品の形態も大きく変わる。「VOCALOIDの父」ことヤマハ・剣持氏と「ぼかりす」の産総研・後藤氏に話を聞けたので情報を補完しておこう。 - コードネームは「勇馬」 ヤマハ純正のイケメンボカロ「VY2」の話を聞いてきた
ヤマハ純正VOCALOIDの男声版「VY2」が発売される。その詳細をヤマハにインタビューし、さらにGarageBand for iPadだけで作ったバッキングとともにVY2に早速歌ってもらった。 - CEATEC JAPAN 2010:美少女ロボ「HRP-4C未夢」と「ぼかりす」を結ぶ産総研内コラボ「ぼかうお」とは?
女性型ロボット「HRP-4C未夢」とぼかりすのコラボがCEATECで実現。今年の未夢は歌声と顔の表情のリアルさが明らかに違う。新技術「ぼかうお」がそれを実現した。 - さらにリアルな歌声を手に入れたVOCALOID――Netぼかりすの進化と本家ぼかりすの未来
「Netぼかりすは“音痴”」――そんな批判に作家たちは、独自の工夫で応えている。産総研の“本家”ぼかりすも進化中。実際に使ってみた様子をリポートする。 - オルタナブログ通信:状況依存型アプリケーションで、新型インフルエンザの行方を追え
200組を越えるブロガーが日々、ITにまつわる時事ネタなどを発信しているビジネス・ブログメディア「ITmedia オルタナティブ・ブログ」から、今週は「Twitter」「新型インフルエンザ」「ソースコード強制開示」「Doblog」「コスト削減術」をテーマに紹介する。 - 3分で“神調教”に? Netぼかりすα版で曲を作ってみた
産総研+ヤマハの豪華コンビによる“神調教”技術、Netぼかりすα版のテスターに運良く選ばれたので、半月ほどつきあってみた。その成果は……。 - VOCALOID“神調教”技術「ぼかりす」実用化へ、ヤマハと産総研が連携
歌手の歌い方をそのままVOCALOIDにまねさせてくれる“神調教”技術「ぼかりす」の実用化に向けた取り組みがスタート。産総研からライセンスを受け、ヤマハが簡易版「Netぼかりす」α版を開発した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
-
【追記あり】夫に「油買ってきて」と頼んだのに、手ぶらで帰宅した理由はまさかの…… とんでもないオチに「やめてww」「久しぶりに大爆笑」
-
1歳息子の“はじめての寝落ち”が140万再生 10歳兄のやさしい行動に「なにこの平和でかわいい世界」「最高に癒やされる」と絶賛の声
-
「予言者いた」「先見の明」 大谷翔平選手&真美子さんの結婚を2021年時点で予言(?)している投稿が発掘され話題に
-
北海道内の移動距離を本州と比較したら…… 感覚がバグるマップ画像に「これが北海道」「大きすぎる」
-
生後1カ月の赤ちゃん「ぼく泣かないもんねっ」 うるうるおめめとへの字口が「はぁ〜たまらん!」「ぐぁぁああああっっ」取り乱すほどかわいい
-
「一番イチャイチャしているように見える」 大谷選手が公開した写真でドジャース山本由伸選手の“手つなぎ”?が話題に 「そっちに目が行く」
-
「妻の服を勝手に着て脱げなくなったムキムキ夫とデカワンコ」に爆笑の嵐 シュールすぎる状況が500万表示突破
-
“おしりが5日で変わる”トレーニング! 「明日からやるか」「1日1回だけなら続けられる」と累計3000万再生突破
-
大好きなボールを100個プレゼントされたときのワンコの表情に「放心ww」「引いてない?」 直視できない姿がSNSで話題
-
赤ちゃんが妙に静かだと思ったら…… 思わぬものへの“真剣モード”に笑顔になる人続出「たれたもちもちほっぺたまらん!」
- 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
- 昭和時代に“無かった物”が写っている……? 細かすぎて伝わらない「未来から来たことがバレた写真」に6万いいね
- 「マジで汚い」「こんなもんです」 辻希美、“大散乱”のリビングと“新”キッチンの差を公開し共感の声集まる
- 双子の赤ちゃん、姉が全力でくしゃみして…… 被害にあった妹の反応に「生後3ヶ月でドリフのコントw」「めちゃどっちもカワイイ」と絶賛の声
- 「よくも病院に連れてきたな……」とにらむ猫、先生が来た瞬間 驚きの変貌に爆笑の声「これがほんとの猫かぶり」
- 急に片耳がたれたワンコ、慌てて病院にいった結果…… 「こんな可愛い診断結果初めて見たよw」「笑っちゃった」と反響
- 「何羽いる?」一見普通の“草むら”、よく見ると……? 思わず絶叫まちがいなしの1枚に「どっさりいるw」「まさに迷彩!」
- 店員に「この子は懐きませんよ」と言われたチンチラ、家に来て3日後…… 人を信じる姿に「愛が伝わったんですね」
- 元SDN48光上せあら、目を離した隙に……子どもが商品を触り“全買取” 「子連れママに厳しすぎないか?」
- 柴犬を子どものように育てた結果、人間みたいな行動をするようになった 何気ない幸せな日常に「完全に家族の一員」「全部が愛くるしい」
- 釣れたキジハタを1年飼ってみると…… 飼い主も驚きの姿に「もはや、魚じゃない」「もう家族やね」と反響
- パーカーをガバッとまくり上げて…… 女性インフルエンサー、台湾でボディーライン晒す 上半身露出で物議 「羞恥心どこに置いてきたん?」
- “TikTokはエロの宝庫だ” 女性インフルエンサー、水着姿晒した雑誌表紙に苦言 「なんですか? これ?」
- 1歳妹を溺愛する18歳兄、しかし妹のひと言に表情が一変「ちがうなぁ!?」 ママも笑っちゃうオチに「かわいいし天才笑」「何度も見ちゃう」
- 8歳兄が0歳赤ちゃんを寝かしつけ→2年後の現在は…… 尊く涙が出そうな光景に「可愛すぎる兄妹」「本当に優しい」
- 1人遊びに夢中な0歳赤ちゃん、ママの視線に気付いた瞬間…… 100点満点のリアクションにキュン「かわいすぎて鼻血出そう!」
- 67歳マダムの「ユニクロ・緑のヒートテック重ね着術」に「色の合わせ方が神すぎる」と称賛 センス抜群の着こなしが参考になる
- “双子モデル”りんか&あんな、成長した姿に驚きの声 近影に「こんなにおっきくなって」「ちょっと見ないうちに」
- 犬が同じ場所で2年間、トイレをし続けた結果…… 笑っちゃうほど様変わりした光景が379万表示「そこだけボッ!ってw」
- 新幹線で「高級ウイスキー」を注文→“予想外のサイズ”に仰天 「むしろすげえ」「家に飾りたい」