リスナーとクリエイターの境界をあいまいにする産総研「Songle」が本格稼働
「ぼかりす」メンバーが音楽鑑賞を新たな次元に押し上げる。「能動的音楽鑑賞」ってなに?
「ぼかりす」ことVocaListenerのメンバーがまたやってくれた。産業技術総合研究所(産総研)情報技術研究部門の後藤真孝氏、中野倫靖氏、吉井和佳氏、藤原弘将氏が開発した「Songle」は音楽鑑賞を新次元に押し上げる画期的なものだ。後藤氏はこれを「能動的音楽鑑賞」と呼ぶ。
Songleは今年の2月からβ版として限定的に運用されていたが、8月29日に大幅に機能強化し一般公開された。どこが能動的なのか。これまでの音楽鑑賞といったいどこが違うのか。
このシステムの背景にあるのは、音楽、特にポピュラーミュージックの楽曲を構造化して再利用可能なものにしていこうという、後藤氏らによる長年の取り組みだ。歌声とバッキングが入り交じった楽曲からボーカルのメロディーのみを取り出したり、同様に楽曲からCやAmなどのコードを抽出したり、サビはここからここまでと推定したりする研究が産総研で行われ、そのうちいくつかは特許を取得している。これらをリスナー向けにアレンジし、まとめあげたサービスがSongleだといってもいい。
SongleはWebブラウザで汎用的に利用できる、誰でも無料で使える。高性能な機種であれば、Flashの動作するAndroidでも動く。そこで何ができるのか、見ていこう。
Songleで特徴的なのは、MP3形式の楽曲データから解析を行い4つの代表的な音楽要素(サビなどの楽曲構造、コード、メロディー、ビート)を抽出。楽曲を再生しながらそれらの要素を「音楽の地図」として可視化できるという点にある。音楽要素を解析する技術としては、ソニーの12音解析があるが、ムードなどに応じたレコメンデーションに使うくらいで、ユーザーが利用できる形での実装は現時点では行われていないようだ。
Songleでは具体的にはこんなことができる:
- Aメロ、Bメロ、サビの部分を特定し、「サビだけ再生」などができる
- 楽曲を流しながらその再生部分のコードを表示
- 歌のメロディーがピアノロール(音楽制作ソフトでよく使われるメロディーの表示形式)で表示される
- 小節の始まり、ビートが分かる
- これらの情報をフル活用したビジュアライザーが用意されている(鍵盤を模した立方体が回転し、コードに従って色が変わり、ビートに合わせて鼓動し、サビのところではエフェクトが派手になる)
- 簡易的なビジュアライザーが入ったプレイヤースクリプトを自分のブログなどに貼り付けることができる
- コード進行検索ができる
- 投稿された解析データが間違っている場合にはユーザーがブラウザ上で修正することができる
音楽に詳しい人がそばにいて、この曲はこういう構造で、コードはこうなっていてと解説してくれる感じだ。
ネット上にあるMP3ファイルでURLとして渡せるものであればSongleに解析させることは可能だ。さらに、音楽配信サイトと協力することで、一連の流れを簡略化することもできる。その一例がクリプトン・フューチャー・メディアのピアプロだ。初音ミク登場後すぐに公開された音楽・イラストのCGM投稿サイトであるピアプロは、既に8万曲ものオリジナル曲が登録されている。そのすべてがSongleに登録可能になっている。
さらに、今回追加された埋め込みプレーヤー用ビジュアライザを、初音ミクの英語版CGMサイトであるMIKUBOOK.comで採用。初音ミク生誕5周年企画の中で、ブラウザ画面をフルに使った簡易ビジュアライザーを利用できる。この部分はクリプトンの研究開発部門がさらに拡張を行ったようだ。
いったんSongleで解析さえすれば、VJが自動でできること以上のビジュアルエフェクトをかけられる。このビジュアライザーをそのまま動画にして、あとは歌詞を追加すれば相当にいい完成動画が簡単にできそうだ。クラウドベースの音楽サービス、携帯音楽プレーヤー、スマートフォンのアプリ、音ゲーなど、提携次第ではさまざまな分野への応用も可能だろう。
このプロジェクトが継続されれば、数万曲、数十万曲の楽曲の構造データが集積されることになる。後藤氏は「計算可能になっていくということ。高い関心を持っている」としており、今後の研究の素材となりそうだ。
ネットでの音楽配信により多量の楽曲に触れることができる現在の「量的な変化」に対し、さらに音楽をより深く理解して聴くことができる「質的な変化」をもたらそうとする後藤氏らの取り組み。普通のリスナーはどのように受け止めるだろうか?
関連記事
ねとらぼ:初音ミクの“神調教”が自動で!? 「ぼかりす」に話題騒然
初音ミクの“神調教”が自動でできるという「ぼかりす」という技術にネット騒然。「人間オワタ」という声も。Mac対応は? ぼかりすは? VOCALOID3の秘密を追ってみた
ヤマハが発表した「VOCALOID3」は従来版からさまさまな改良が加えられ、製品の形態も大きく変わる。「VOCALOIDの父」ことヤマハ・剣持氏と「ぼかりす」の産総研・後藤氏に話を聞けたので情報を補完しておこう。コードネームは「勇馬」 ヤマハ純正のイケメンボカロ「VY2」の話を聞いてきた
ヤマハ純正VOCALOIDの男声版「VY2」が発売される。その詳細をヤマハにインタビューし、さらにGarageBand for iPadだけで作ったバッキングとともにVY2に早速歌ってもらった。CEATEC JAPAN 2010:美少女ロボ「HRP-4C未夢」と「ぼかりす」を結ぶ産総研内コラボ「ぼかうお」とは?
女性型ロボット「HRP-4C未夢」とぼかりすのコラボがCEATECで実現。今年の未夢は歌声と顔の表情のリアルさが明らかに違う。新技術「ぼかうお」がそれを実現した。さらにリアルな歌声を手に入れたVOCALOID――Netぼかりすの進化と本家ぼかりすの未来
「Netぼかりすは“音痴”」――そんな批判に作家たちは、独自の工夫で応えている。産総研の“本家”ぼかりすも進化中。実際に使ってみた様子をリポートする。オルタナブログ通信:状況依存型アプリケーションで、新型インフルエンザの行方を追え
200組を越えるブロガーが日々、ITにまつわる時事ネタなどを発信しているビジネス・ブログメディア「ITmedia オルタナティブ・ブログ」から、今週は「Twitter」「新型インフルエンザ」「ソースコード強制開示」「Doblog」「コスト削減術」をテーマに紹介する。3分で“神調教”に? Netぼかりすα版で曲を作ってみた
産総研+ヤマハの豪華コンビによる“神調教”技術、Netぼかりすα版のテスターに運良く選ばれたので、半月ほどつきあってみた。その成果は……。- VOCALOID“神調教”技術「ぼかりす」実用化へ、ヤマハと産総研が連携
歌手の歌い方をそのままVOCALOIDにまねさせてくれる“神調教”技術「ぼかりす」の実用化に向けた取り組みがスタート。産総研からライセンスを受け、ヤマハが簡易版「Netぼかりす」α版を開発した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
庭で見つけた“変なイモムシ”を8カ月育てたら…… とんでもない生物の誕生に「神秘的」「思った以上に可愛い」
「これが生えたら庭終了」 プロも降参する“何をやっても全部ムダな最恐雑草”の正体が400万再生「ほんとこれ厄介」「土ごと変えないと不可能」
イトーヨーカドー春日部店が閉店へ 「クレヨンしんちゃん」に登場するスーパーのモデル 「残念」「寂しい」惜しむ声
夜、山中の側溝をのぞいてみたら…… 思わず声がもれる“あらぬ生物”の姿に「ヤバいw」「生で見てみたい」
水槽の中で卵を発見→慎重に見守って1カ月後…… 小さな命の誕生に飼い主も視聴者もメロメロ「まじで可愛すぎるほんとに可愛い」
「お父さんはママのオタクだった」 母親が「元・おニャン子」のタレント、アイドルとオタクが“つながっちゃいけない理由”を問いかける
「立体的に円柱を描きなさい」 中1の“斜め上の解答”に「この発想は天才」「先生の優しさも感じます」
スーパーで買ったレモンの種が1年後…… まさかの結果が635万再生「さっそくやってみます」「すごーい!」「手品みたい」
工藤静香、15歳の愛犬が天国へ 感謝の言葉つづるも……「泣いてばかり」「心が追いつかない」と悲痛な思い
外国人が来日して“3年後”…… マクドナルドの“オーダーの変化”に「胃袋が日本人のそれなんよw」とツッコミ
- プロが本気で“アンパンマンの塗り絵”をしたら…… 衝撃の仕上がりが360万再生「凄すぎて笑うしかないww」「チーズが、、、」
- 6年間外につながれっぱなしだったワンコ、保護準備をするため帰ろうとすると…… 思いが伝わるラストに涙が止まらない
- 「お釣りで新紙幣来た!!!!!と思ったら……」 “まさかの正体”に「吹き出してしまった」「逆に……」
- 赤いカブトムシを7年間、厳選交配し続けたら…… 爆誕した“ウルトラレッド”の姿に「フェラーリみたい」「カッコ良すぎる」
- ダイソーで買った330円の「石」を磨いたら……? 吸い込まれそうな美しさが40万回表示の人気 「夏休みの自由研究にもいいのでは?」
- 「これ最初に考えた人、まじ天才」 ダイソーグッズの“じゃない”使い方が「目から鱗すぎ」と反響
- もう笑うしかない Windowsのブルースクリーン多発でオフィス中“真っ青”になった海外の光景がもはや楽しそう
- アジサイを挿し木から育て、4年後…… 息を飲む圧巻の花付きに「何回見ても素晴らしい」「こんな風に育ててみたい!」
- スズメの首は、実は……? 「心臓止まりそうでした」「これは……びっくり!」“真実の姿”に驚愕の声
- 【今日の計算】「8×8÷8÷8」を計算せよ
- 18÷0=? 小3の算数プリントが不可解な出題で物議「割れませんよね?」「“答えなし”では?」
- 日本人ならなぜかスラスラ読めてしまう字が“300万再生超え” 「輪ゴム」みたいなのに「カメラが引いたら一気に分かる」と感動の声
- 「最初から最後まで全ての瞬間がアウト」 Mrs. GREEN APPLE、コカ・コーラとのタイアップ曲に物議 「誰かこれを止める人いなかったのか」
- 「値段を三度見くらいした」 ハードオフに38万5000円で売っていた“予想外の商品”に思わず目を疑う
- 「思わず笑った」 ハードオフに4万4000円で売られていた“まさかのフィギュア”に仰天 「玄関に置いときたい」
- かわいすぎる卓球女子の最新ショットが730万回表示の大反響 「だれや……この透明感あふれる卓球天使は」「AIじゃん」
- 「これはさすがに……」 キャッシュレス推進“ピクトグラム”コンクールに疑問の声相次ぐ…… 主催者の見解は
- 天皇皇后両陛下の英国訪問、カミラ王妃の“日本製バッグ”に注目 皇后陛下が贈ったもの
- 「この家おかしい」と投稿された“家の図面”が111万表示 本当ならばおそろしい“状態”に「パッと見だと気付けない」「なにこれ……」
- 和菓子屋の店主、バイトに難題“はさみ菊”を切らせてみたら…… 282万表示を集めた衝撃のセンスに「すごすぎんか」「天才!?」