俺、歌声になってみたから、歌わせてみない? 楽譜を入力すれば歌ってくれる「Sinsy」の中の人体験
自分の知らないところで、自分の声が、知らない曲を歌っている――そんな展開を期待してます。
2009年のクリスマス、Sinsyという歌声合成技術がデビューした。サンプリングした音の素片を結合させるVOCALOIDやUTAUとは違う、HMM(隠れマルコフモデル)という統計的な手法を用いて人間の歌声をモデリングし、本物の人間のようにリアルな歌い方が可能となっている。
Sinsyは名古屋工業大学が提供している無料のWebサービスで、電子フォーマットの楽譜をインプットすると歌声のオーディオデータを吐き出してくれる。この技術をベースにCeVIO Creative Studioという製品も今年発売された。
そして2013年のクリスマス、筆者はそのSinsyの歌声の「中の人」になった。ブラウザから誰でも使えるバーチャルシンガーになったのだ。Sinsyではこのシンガーを「ボイス」と呼ぶ。「Sinsyボイス m003e_beta 松尾P」の誕生である。
中の人になるためにすべきこと
きっかけは学会への取材だ。昨年2月に開催された情報処理学会 音楽情報科学研究会・音声言語情報処理研究会の「歌声情報処理最前線!!」で、名古屋工業大学国際音声技術研究所の徳田恵一教授と大浦圭一郎特任助教による講演「自動学習により人間のように歌う音声合成システム ―Sinsy―」があった。このとき「英語音源あると便利でいいんですよね。あと、ローカルで処理できるとうれしい」と要望を出したら、「中の人をやってみませんか?」という逆提案されたのだ。
この時点では英語を歌えるボイスはまだなかった。徳田教授は筆者が英語のカバー曲を歌っているのを知っていたのでもちかけてくれたようだ。UTAUを使って自分の英語音源を作ってみたいと考えていたけどなかなか正しいやり方にたどりつけずにいたので、これは試す価値があると思い快諾。収録の条件を聞いて、さっそく試すことにした。
VOCALOIDやUTAUとは違い、意味のない文字列を一定の音程で歌う必要はない。Sinsyの音源収録では、ただ歌を歌えばいい。今回は英語音源なので、英語の歌だ。10数曲あればいいというので、特に練習なしで歌える14曲を選んだ。
- And I Love Her
- Yesterday
- All My Loving
- Get Back
- The Fool On The Hill
- Back In The U.S.S.R.
- Here, There And Everywhere
- Blackbird
- Hey Jude
- Penny Lane
- Michelle
- Let It Be
- Lady Madonna
- The Long And Winding Road
すべてビートルズの曲で、ポール・マッカートニーがリードボーカルを取っているのを選んだ。歌いまわしとかがあまり変ってしまうとよくないだろうという、個人的な判断からだ。ポールの曲を歌うときにはできるだけ節回しを似せるように心がけているので、多少なりともポールっぽい歌声合成音源になれば、という目論見もあってのことだ。成功するしないは別にして。
これらの曲を選ぶ上でもう1つ、ポイントがあった。それはMIDIのカラオケが存在すること。この14曲については、ヤマハが販売しているMIDI演奏データを、こちらと名古屋工業大学双方で購入して使った。これを参考に、ボーカルデータと対照させる楽譜データをSinsyチームで作っていくのだ。
こちらでは、MIDIデータをQuickTime Proに読み込み、オーディオデータに変換してからiMacのGarageBandに取り込み、ボーカルを録音していった。収録場所は、なんの防音もされていない自宅リビング。2012年3月の、家族がいない時を見計らって、一気にほぼ1日で録音した。サンプリング周波数は44.1kHz。
オケは売り物なので、そのデータをそのものを出すわけにはいかないが、参考に、同じ曲を自分で作成したオケで「歌ってみた」ものがいくつかあるので、ご参考に。こんな感じである。
上記の録音でも分かるように、部屋の内外のノイズを拾ってしまっていること、本当は48kHzか96kHzでの収録が望ましいのを44.1kHzで録ったこと、さらにはMIDIデータのBPMが固定ではなかったため、ボーカルデータの後処理が大変で音質を下げてしまった。
録音から公開まで時間がかかったことにはそういった問題があったと、後で徳田教授から説明を受けた。まだこれは「Sinsyボイス m003e_beta 松尾P」とあるようにベータ版なので、音質改善のチャンスが残されている。歌ってみたが捗ると話題の「だんぼっち」でどの程度いけるのかは試してみないとわからないが、録音環境も理想的なものに少しでも近づけて再度挑戦し、品質を上げたいと考えている。
そういうわけで、このバージョンで、音質面で問題があるとすれば、それは当方の収録条件が原因。まだ良くしていきたいと思っているので、それまでは現行のベータ版でぜひ歌わせてほしい。
みんな俺の声を使ってください! ってことでSinsyの使い方を解説
Sinsyを使うためには、MusicXMLというフォーマットの楽譜データを作成する必要がある。筆者は五線譜で入力するFinale NotePadというフリーウェアを使っている(Mac版、Windows版がある)。Cadencii、MuseScoreといったアプリも利用可能だ。
譜面ができたらMusicXML形式で書き出し、そのファイルをSinsyにサイトで送信する。数秒待つと、.wav形式のオーディオデータで、m003e_betaが歌う英語のボーカルがダウンロードできるようになる。
楽譜をスタジオ付きシンガーの松尾P君に渡すと、スタジオの中で歌って、「できたよ」と渡してくれる――そんなイメージだ。
スタジオにいるシンガーは1人ではない。英語の歌ならば、m003e_beta(つまり、筆者の声です!)だけでなく、女声の「f002e 香鈴(シャンリン)」も使える。日本語は、同じ人が歌う「f002j 香鈴」、初号機の「f001j 謡子」。そして、UTAUでもおなじみの波音リツが「f004j 波音リツS」として加わった(デモは去年から出ていたが、使えるようになったのはこのクリスマスから)。Sinsyではこの4人、5種類の歌声を無料で使うことができる。
「調教いらず」でリアルな歌声を手に入れることができるSinsyだが、譜面で表現できないような細かいニュアンスまで「調教」することは難しい。そこはMelodyneなどのピッチエディタ(DAWに付属、内蔵するものも多い)と併用するなどの方法もある。
なお、ローカルでSinsyが使えたらいいですね、という話は今回実現した。ソースコードが公開されたからだ。Sinsyのバージョンは初期型で、0.9となる。早くも試した方のブログはこちら。
自分の知らないところで、自分が歌えない、知らない曲が自分の歌声で響いていくというのは、自分自身の理想型でもある。どんどん歌わせていってほしい。m003e_betaに歌わせたら、ニコニコ動画やYouTube、SoundCloudなどに投稿してもらえるとうれしい。
エクシングへの取材でも書いたが、HMM方式の歌声合成には、歌唱者適応という技術がある。その技術がさらに進めば、数曲しか残っていない場合でもその歌声からボイスを構築し、たくさんの人がその歌声で曲を作ってくれる。自分たちがいなくなっても続いていくものがあるとうれしい。
MMDAgentはAndroid対応に
Sinsyの兄弟分とも言える、同じく徳田チームによる製品「MMDAgent」(3Dキャラクターと対話できるソフト)もこのほどメジャーアップデートを果たした。今回はAndroid対応が目玉だ。徳田教授に聞いたところ、iOS版は人的リソースの問題から現時点で予定はないそうだ。
移植や他形態での利用については、基本的に修正BSDライセンスで公開しているため「商用利用も含めてどのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。例外はメイちゃんの3Dモデルで、こちらはクリエイティブ・コモンズのCC BY-NCで公開なので「商用利用を除き、どのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。
つまり、版権的に使えるMMDモデルがあれば、それを利用して独自の対話型3DエージェントをiPhone、iPad向けに作ることも可能となる。これはMMDAgent関連の開発コミュニティに期待したいところだ。
関連記事
- 段ボール防音室「だんぼっち」にひきこもって歌ってみたよ
周囲を気にせず“歌ってみた”ができる「だんぼっち」を使ってみました。段ボール好きのうちのネコを追い払い、いざ熱唱……! - ヤマハが超お手軽なボカロ曲制作iPhoneアプリ「VOCALOID first」を無料公開 水口哲也プロデューサーに話を聞いてきた
あらかじめメロディーが入った、伴奏付きの素材をつなげるだけで短い「ボカロ曲」が完成。さらに歌詞も簡単に作れる仕掛けが。 - VOCALOIDチップを搭載した学研「歌うキーボード」を弾いて聞いてきた
「Maker Faire Tokyo 2013」の学研ブースで体験できるぞ! - VOCALOIDエンジン引っさげ、ヤマハがゲームに参入 第1弾「ボカロダマ」で遊んでみた
ドコモがiPhoneを売り始め、日本のスマートフォンが一気にiPhoneに向かおうとしている。iPhoneアプリ「ボカロダマ」はVOCALOIDの裾野を広げるか……! - ボカロ曲の動画が超お手軽にできちゃう3Dアプリ「キャラミんStudio」を使ってみた
「これは3DのGarageBandだ」。使ってみてそう確信した。 - 「ボカロの名作クロスフェード」できる音楽サービス「Songrium」、産総研が公開
Web上の音楽コンテンツの関係性を可視化する音楽視聴支援システム。 - 初音ミクがMac、英語、GarageBand対応――「肩の荷が下りました」とクリプトン伊藤社長
6年かかりました。MacユーザーのボカロPおよびボカロPになりたいMacユーザーの皆さん、チャンスはついに訪れた! - リスナーとクリエイターの境界をあいまいにする産総研「Songle」が本格稼働
「ぼかりす」メンバーが音楽鑑賞を新たな次元に押し上げる。「能動的音楽鑑賞」ってなに?
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
-
ミュージカル『ディズニー くまのプーさん』、舞台が見えづらいとの指摘に謝罪 「視認性の改善を講じる」
-
【今日の計算】「500×99」を計算せよ
-
「葬送のフリーレン」の勇者一行、ネモフィラ畑に現る 名場面にちなんだコスプレが「これを花畑を出す魔法か」と23万いいね
-
業務スーパーの“高コスパ”人気冷凍商品に「基準値超え添加物」 約1万5000個販売……自主回収を実施
-
“スケスケ成人式コーデ”が物議のモデル、「3度見される服」を披露 「コレは見ちゃうわ」「洗っても大丈夫なのか」の声
-
秋元康、AKB48卒業の柏木由紀に送った手紙が物議 “冒頭の一文”に「昭和丸出し」「嫌すぎる」
-
1歳娘、ちょっと目を離したら衝撃の光景が……! リアル過ぎるワンオペ現場が190万再生「わかりみすごすぎです」
-
天井裏から変な音がする→スマホを突っ込んで撮影したら…… 映った“とんでもねぇ”モノに「恐ろしい」「何これ」と騒然の196万表示!
-
「ふざけんな」 宿泊施設に「キャンセル料金を払わなくする方法」が物議 宿泊施設「大目に見てきたが厳格化する」
-
息子「あしたから下敷きいるって」母「ええやつあるで(ドヤ」 母の愛がつまった手作り下敷きに「なにこれめっちゃほしい!」と注目集まる
- 釣りに行こうとしたら、海岸に子猫が打ち上げられていて…… 保護後、予想だにしない展開に「神様降臨」「涙が止まりません」
- 身長174センチの女性アイドルに「ここは女性専用車両です!!!」 電車内で突如怒られ「声か、、、」と嘆き 「理不尽すぎる」と反響の声
- しぶとい雑草“ドクダミ”を生やさない超簡単な方法が115万再生! 除草剤を使わない画期的な対策に「スゴイ発見」
- 天井裏から変な音がする→スマホを突っ込んで撮影したら…… 映った“とんでもねぇ”モノに「恐ろしい」「何これ」と騒然の196万表示!
- 小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
- 誰も教えてくれなかった“裁縫の裏ワザ”が目からウロコ 200万再生のライフハックに「画期的」と称賛【海外】
- 「電車の中で見ちゃダメ」「笑ったww」 実家からLINE「子ヤギがすばしっこくて捕まらない」→送られてきた衝撃姿が320万表示!
- 顔の半分は童顔メイク、もう半分の仕上がりに驚がく 同一人物と思えない半顔メイクが860万再生「凄いねメイクの力」
- 元「AKB48」メンバー、整形に250万円の近影に驚きの声「整形しすぎてて原型なくなっててびびった」
- スーパーで買ったレモンの種が1年後…… まさかの結果が635万再生「さっそくやってみます」「すごーい!」「手品みたい」
- 庭に植えて大後悔した“悪魔の木”を自称ポンコツ主婦が伐採したら…… 恐怖のラストに「ゾッとした」「驚愕すぎて笑っちゃいましたw」
- 小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
- 生後2カ月の赤ちゃんにママが話しかけると、次の瞬間かわいすぎる反応が! 「天使」「なんか泣けてきた」と癒やされた人続出
- 「歩行も困難…言動もままならず」黒沢年雄、妻・街田リーヌの病状明かす 介護施設入所も「急激に壊れていく…」
- 車検に出した軽トラの荷台に乗っていた生後3日の子猫、保護して育てた3年後…… 驚きの現在に大反響「天使が女神に」「目眩が」
- 「虎に翼」、新キャラの俳優に注目が集まる 「綺麗な人だね」「まさか日本のドラマでお目にかかれるとは!」
- 釣りに行こうとしたら、海岸に子猫が打ち上げられていて…… 保護後、予想だにしない展開に「神様降臨」「涙が止まりません」
- 身長174センチの女性アイドルに「ここは女性専用車両です!!!」 電車内で突如怒られ「声か、、、」と嘆き 「理不尽すぎる」と反響の声
- 築152年の古民家にある、ジャングル化した水路を掃除したら…… 現れた驚きの光景に「腰が抜けました」「ビックリ!」「先代の方々が」
- 「葬送のフリーレン」ユーベルのコスプレがまるで実写版 「ジト目が完璧」と27万いいねの好評