俺、歌声になってみたから、歌わせてみない? 楽譜を入力すれば歌ってくれる「Sinsy」の中の人体験
自分の知らないところで、自分の声が、知らない曲を歌っている――そんな展開を期待してます。
2009年のクリスマス、Sinsyという歌声合成技術がデビューした。サンプリングした音の素片を結合させるVOCALOIDやUTAUとは違う、HMM(隠れマルコフモデル)という統計的な手法を用いて人間の歌声をモデリングし、本物の人間のようにリアルな歌い方が可能となっている。
Sinsyは名古屋工業大学が提供している無料のWebサービスで、電子フォーマットの楽譜をインプットすると歌声のオーディオデータを吐き出してくれる。この技術をベースにCeVIO Creative Studioという製品も今年発売された。
そして2013年のクリスマス、筆者はそのSinsyの歌声の「中の人」になった。ブラウザから誰でも使えるバーチャルシンガーになったのだ。Sinsyではこのシンガーを「ボイス」と呼ぶ。「Sinsyボイス m003e_beta 松尾P」の誕生である。
中の人になるためにすべきこと
きっかけは学会への取材だ。昨年2月に開催された情報処理学会 音楽情報科学研究会・音声言語情報処理研究会の「歌声情報処理最前線!!」で、名古屋工業大学国際音声技術研究所の徳田恵一教授と大浦圭一郎特任助教による講演「自動学習により人間のように歌う音声合成システム ―Sinsy―」があった。このとき「英語音源あると便利でいいんですよね。あと、ローカルで処理できるとうれしい」と要望を出したら、「中の人をやってみませんか?」という逆提案されたのだ。
この時点では英語を歌えるボイスはまだなかった。徳田教授は筆者が英語のカバー曲を歌っているのを知っていたのでもちかけてくれたようだ。UTAUを使って自分の英語音源を作ってみたいと考えていたけどなかなか正しいやり方にたどりつけずにいたので、これは試す価値があると思い快諾。収録の条件を聞いて、さっそく試すことにした。
VOCALOIDやUTAUとは違い、意味のない文字列を一定の音程で歌う必要はない。Sinsyの音源収録では、ただ歌を歌えばいい。今回は英語音源なので、英語の歌だ。10数曲あればいいというので、特に練習なしで歌える14曲を選んだ。
- And I Love Her
- Yesterday
- All My Loving
- Get Back
- The Fool On The Hill
- Back In The U.S.S.R.
- Here, There And Everywhere
- Blackbird
- Hey Jude
- Penny Lane
- Michelle
- Let It Be
- Lady Madonna
- The Long And Winding Road
すべてビートルズの曲で、ポール・マッカートニーがリードボーカルを取っているのを選んだ。歌いまわしとかがあまり変ってしまうとよくないだろうという、個人的な判断からだ。ポールの曲を歌うときにはできるだけ節回しを似せるように心がけているので、多少なりともポールっぽい歌声合成音源になれば、という目論見もあってのことだ。成功するしないは別にして。
これらの曲を選ぶ上でもう1つ、ポイントがあった。それはMIDIのカラオケが存在すること。この14曲については、ヤマハが販売しているMIDI演奏データを、こちらと名古屋工業大学双方で購入して使った。これを参考に、ボーカルデータと対照させる楽譜データをSinsyチームで作っていくのだ。
こちらでは、MIDIデータをQuickTime Proに読み込み、オーディオデータに変換してからiMacのGarageBandに取り込み、ボーカルを録音していった。収録場所は、なんの防音もされていない自宅リビング。2012年3月の、家族がいない時を見計らって、一気にほぼ1日で録音した。サンプリング周波数は44.1kHz。
オケは売り物なので、そのデータをそのものを出すわけにはいかないが、参考に、同じ曲を自分で作成したオケで「歌ってみた」ものがいくつかあるので、ご参考に。こんな感じである。
上記の録音でも分かるように、部屋の内外のノイズを拾ってしまっていること、本当は48kHzか96kHzでの収録が望ましいのを44.1kHzで録ったこと、さらにはMIDIデータのBPMが固定ではなかったため、ボーカルデータの後処理が大変で音質を下げてしまった。
録音から公開まで時間がかかったことにはそういった問題があったと、後で徳田教授から説明を受けた。まだこれは「Sinsyボイス m003e_beta 松尾P」とあるようにベータ版なので、音質改善のチャンスが残されている。歌ってみたが捗ると話題の「だんぼっち」でどの程度いけるのかは試してみないとわからないが、録音環境も理想的なものに少しでも近づけて再度挑戦し、品質を上げたいと考えている。
そういうわけで、このバージョンで、音質面で問題があるとすれば、それは当方の収録条件が原因。まだ良くしていきたいと思っているので、それまでは現行のベータ版でぜひ歌わせてほしい。
みんな俺の声を使ってください! ってことでSinsyの使い方を解説
Sinsyを使うためには、MusicXMLというフォーマットの楽譜データを作成する必要がある。筆者は五線譜で入力するFinale NotePadというフリーウェアを使っている(Mac版、Windows版がある)。Cadencii、MuseScoreといったアプリも利用可能だ。
譜面ができたらMusicXML形式で書き出し、そのファイルをSinsyにサイトで送信する。数秒待つと、.wav形式のオーディオデータで、m003e_betaが歌う英語のボーカルがダウンロードできるようになる。
楽譜をスタジオ付きシンガーの松尾P君に渡すと、スタジオの中で歌って、「できたよ」と渡してくれる――そんなイメージだ。
スタジオにいるシンガーは1人ではない。英語の歌ならば、m003e_beta(つまり、筆者の声です!)だけでなく、女声の「f002e 香鈴(シャンリン)」も使える。日本語は、同じ人が歌う「f002j 香鈴」、初号機の「f001j 謡子」。そして、UTAUでもおなじみの波音リツが「f004j 波音リツS」として加わった(デモは去年から出ていたが、使えるようになったのはこのクリスマスから)。Sinsyではこの4人、5種類の歌声を無料で使うことができる。
「調教いらず」でリアルな歌声を手に入れることができるSinsyだが、譜面で表現できないような細かいニュアンスまで「調教」することは難しい。そこはMelodyneなどのピッチエディタ(DAWに付属、内蔵するものも多い)と併用するなどの方法もある。
なお、ローカルでSinsyが使えたらいいですね、という話は今回実現した。ソースコードが公開されたからだ。Sinsyのバージョンは初期型で、0.9となる。早くも試した方のブログはこちら。
自分の知らないところで、自分が歌えない、知らない曲が自分の歌声で響いていくというのは、自分自身の理想型でもある。どんどん歌わせていってほしい。m003e_betaに歌わせたら、ニコニコ動画やYouTube、SoundCloudなどに投稿してもらえるとうれしい。
エクシングへの取材でも書いたが、HMM方式の歌声合成には、歌唱者適応という技術がある。その技術がさらに進めば、数曲しか残っていない場合でもその歌声からボイスを構築し、たくさんの人がその歌声で曲を作ってくれる。自分たちがいなくなっても続いていくものがあるとうれしい。
MMDAgentはAndroid対応に
Sinsyの兄弟分とも言える、同じく徳田チームによる製品「MMDAgent」(3Dキャラクターと対話できるソフト)もこのほどメジャーアップデートを果たした。今回はAndroid対応が目玉だ。徳田教授に聞いたところ、iOS版は人的リソースの問題から現時点で予定はないそうだ。
移植や他形態での利用については、基本的に修正BSDライセンスで公開しているため「商用利用も含めてどのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。例外はメイちゃんの3Dモデルで、こちらはクリエイティブ・コモンズのCC BY-NCで公開なので「商用利用を除き、どのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。
つまり、版権的に使えるMMDモデルがあれば、それを利用して独自の対話型3DエージェントをiPhone、iPad向けに作ることも可能となる。これはMMDAgent関連の開発コミュニティに期待したいところだ。
関連記事
- 段ボール防音室「だんぼっち」にひきこもって歌ってみたよ
周囲を気にせず“歌ってみた”ができる「だんぼっち」を使ってみました。段ボール好きのうちのネコを追い払い、いざ熱唱……! - ヤマハが超お手軽なボカロ曲制作iPhoneアプリ「VOCALOID first」を無料公開 水口哲也プロデューサーに話を聞いてきた
あらかじめメロディーが入った、伴奏付きの素材をつなげるだけで短い「ボカロ曲」が完成。さらに歌詞も簡単に作れる仕掛けが。 - VOCALOIDチップを搭載した学研「歌うキーボード」を弾いて聞いてきた
「Maker Faire Tokyo 2013」の学研ブースで体験できるぞ! - VOCALOIDエンジン引っさげ、ヤマハがゲームに参入 第1弾「ボカロダマ」で遊んでみた
ドコモがiPhoneを売り始め、日本のスマートフォンが一気にiPhoneに向かおうとしている。iPhoneアプリ「ボカロダマ」はVOCALOIDの裾野を広げるか……! - ボカロ曲の動画が超お手軽にできちゃう3Dアプリ「キャラミんStudio」を使ってみた
「これは3DのGarageBandだ」。使ってみてそう確信した。 - 「ボカロの名作クロスフェード」できる音楽サービス「Songrium」、産総研が公開
Web上の音楽コンテンツの関係性を可視化する音楽視聴支援システム。 - 初音ミクがMac、英語、GarageBand対応――「肩の荷が下りました」とクリプトン伊藤社長
6年かかりました。MacユーザーのボカロPおよびボカロPになりたいMacユーザーの皆さん、チャンスはついに訪れた! - リスナーとクリエイターの境界をあいまいにする産総研「Songle」が本格稼働
「ぼかりす」メンバーが音楽鑑賞を新たな次元に押し上げる。「能動的音楽鑑賞」ってなに?
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
-
「ふざけてる」「作品を知らないのになぜ?」と怒りの声 マクドナルドと「HUNTER×HUNTER」コラボの“PR施策”が物議【台湾】
-
「幻の個体」と言われ、1匹1万円で購入した観賞魚が半年後…… 笑っちゃうほどの変化に反響→現在どうなったか飼い主に聞いた
-
たった築8年で“ぶっ壊れた”マイホームのリアル おそろしい戸建て事情に「声出た」「我が家もそうでした」
-
大家に「好きにしていいよ」と言われて薄暗い部屋をDIY改装したら…… あまりの変貌に仰天「すっげえええ」 投稿者に話を聞いた
-
【今日の計算】「3+3÷3−3」を計算せよ
-
荒れ放題の“悪夢の庭”をたった1人で11時間掃除したら…… あっぱれすぎる働きぶりに「あなたはヒーロー」と称賛
-
一度も髪を切ったことがない女性が、髪をほどくと…… 美容師も驚がくのスーパーロングヘアに470万いいね「リアルラプンツェル!」【海外】
-
生後0日→1歳10カ月の赤ちゃん成長ビフォーアフターが衝撃の700万再生 それから2年たった現在は…… さらに驚く姿に反響
-
2歳娘が一時保育に行ってる隙に“空き巣”が…… まさかの正体に「留守を狙ったんですね」「かくほしちゃうぞ」
-
自宅の犬小屋に住み着いた野良猫が、1年後…… まさかまさかの“現在”に「うわあ!よかったねえ!」「お幸せに」と100万表示
- 50年前に撮った祖母の写真を、孫の写真と並べてみたら…… 面影が重なる美ぼうが「やばい」と640万再生 大バズリした投稿者に話を聞いた
- 星型に切った冷えピタを水に漬けたら…… 思ったのと違う“なにこれな物体”に「最初っから最後まで思い通りにならない満足感」「全部グダグダ」
- 「Snow Man」の映像が中国で物議→公開停止 所属会社「歴史的事象に対する配慮に欠けた」と中国語と日本語で謝罪
- 母親は俳優で「朝ドラのヒロイン」 “24歳の息子”がアイドルとして活躍中 「強い遺伝子を受け継いだ……」と注目集める
- 「顔が違う??」 伊藤英明、見た目が激変した近影に「どうした眉毛」「誰かとおもた…眉毛って大事」とネット仰天
- 「かわいいってこういうこと」 生後1カ月の子猫が暖をとる場所は……幸せしかない姿に「この角度から見るのが最幸」
- ジャングルと化した廃墟を、14日間ひたすら草刈りした結果…… 現した“本当の姿”に「すごすぎてビックリ」「素晴らしい」
- 「ボットン便所を簡易水洗にしたい」→「どれどれ……」 建設会社スタッフが驚がくした“歴史的遺物”に大反響 「相当貴重なもの」
- 「その手があったか!」 ほぼ卵焼きだけの弁当?→“まさかのサプライズ”が800万再生 「天才すぎて泣いた」
- 飛行機で傷口が感染し「身体の一部を切除」 133万フォロワーの元アイドル「痛みで涙が止まらない」悲痛の現状報告
- “緑の枝付きどんぐり”をうっかり持ち帰ると、ある日…… とんでもない目にあう前に注意「危ないところだった」
- 「しまむら」に行った58歳父→買ってきたTシャツが“まさかのデザイン”で3万いいね! 「同じ年だから気持ちわかる」「欲しい!」
- 友人に「100円でもいらない」と酷評されたビーズ作家、再会して言われたのは…… 批判を糧にした作品が「もはや芸術品」と490万再生
- 高校3年生で出会った2人が、15年後…… 世界中が感動した姿に「泣いてしまった」「幸せを分けてくださりありがとう」【タイ】
- 「ま、まじか!!」 68歳島田紳助、驚きの最新姿 上地雄輔が2ショット公開 「確実に若返ってる」とネット衝撃
- 荒れ放題の庭を、3年間ひたすら草刈りし続けたら…… 感動のビフォーアフターに「劇的に変わってる」「素晴らしい」
- 食べた桃の種を土に植え、4年育てたら…… 想像を超える成長→果実を大収穫する様子に「感動しました」「素晴らしい記録」
- 「天才!」 人気料理研究家による“目玉焼きの作り方”が目からウロコ 今すぐ試したいライフハックに「初めて知りました!」
- 「エグいもん売られてた」 ホビーオフに1万1000円で売られていた“まさかの商品”に「めちゃくちゃ欲しい」
- 義母「お米を送りました」→思わず二度見な“手紙”に11万いいね 「憧れる」「こういう大人になりたい」と感嘆の声