俺、歌声になってみたから、歌わせてみない? 楽譜を入力すれば歌ってくれる「Sinsy」の中の人体験
自分の知らないところで、自分の声が、知らない曲を歌っている――そんな展開を期待してます。
2009年のクリスマス、Sinsyという歌声合成技術がデビューした。サンプリングした音の素片を結合させるVOCALOIDやUTAUとは違う、HMM(隠れマルコフモデル)という統計的な手法を用いて人間の歌声をモデリングし、本物の人間のようにリアルな歌い方が可能となっている。
Sinsyは名古屋工業大学が提供している無料のWebサービスで、電子フォーマットの楽譜をインプットすると歌声のオーディオデータを吐き出してくれる。この技術をベースにCeVIO Creative Studioという製品も今年発売された。
そして2013年のクリスマス、筆者はそのSinsyの歌声の「中の人」になった。ブラウザから誰でも使えるバーチャルシンガーになったのだ。Sinsyではこのシンガーを「ボイス」と呼ぶ。「Sinsyボイス m003e_beta 松尾P」の誕生である。
中の人になるためにすべきこと
きっかけは学会への取材だ。昨年2月に開催された情報処理学会 音楽情報科学研究会・音声言語情報処理研究会の「歌声情報処理最前線!!」で、名古屋工業大学国際音声技術研究所の徳田恵一教授と大浦圭一郎特任助教による講演「自動学習により人間のように歌う音声合成システム ―Sinsy―」があった。このとき「英語音源あると便利でいいんですよね。あと、ローカルで処理できるとうれしい」と要望を出したら、「中の人をやってみませんか?」という逆提案されたのだ。
この時点では英語を歌えるボイスはまだなかった。徳田教授は筆者が英語のカバー曲を歌っているのを知っていたのでもちかけてくれたようだ。UTAUを使って自分の英語音源を作ってみたいと考えていたけどなかなか正しいやり方にたどりつけずにいたので、これは試す価値があると思い快諾。収録の条件を聞いて、さっそく試すことにした。
VOCALOIDやUTAUとは違い、意味のない文字列を一定の音程で歌う必要はない。Sinsyの音源収録では、ただ歌を歌えばいい。今回は英語音源なので、英語の歌だ。10数曲あればいいというので、特に練習なしで歌える14曲を選んだ。
- And I Love Her
- Yesterday
- All My Loving
- Get Back
- The Fool On The Hill
- Back In The U.S.S.R.
- Here, There And Everywhere
- Blackbird
- Hey Jude
- Penny Lane
- Michelle
- Let It Be
- Lady Madonna
- The Long And Winding Road
すべてビートルズの曲で、ポール・マッカートニーがリードボーカルを取っているのを選んだ。歌いまわしとかがあまり変ってしまうとよくないだろうという、個人的な判断からだ。ポールの曲を歌うときにはできるだけ節回しを似せるように心がけているので、多少なりともポールっぽい歌声合成音源になれば、という目論見もあってのことだ。成功するしないは別にして。
これらの曲を選ぶ上でもう1つ、ポイントがあった。それはMIDIのカラオケが存在すること。この14曲については、ヤマハが販売しているMIDI演奏データを、こちらと名古屋工業大学双方で購入して使った。これを参考に、ボーカルデータと対照させる楽譜データをSinsyチームで作っていくのだ。
こちらでは、MIDIデータをQuickTime Proに読み込み、オーディオデータに変換してからiMacのGarageBandに取り込み、ボーカルを録音していった。収録場所は、なんの防音もされていない自宅リビング。2012年3月の、家族がいない時を見計らって、一気にほぼ1日で録音した。サンプリング周波数は44.1kHz。
オケは売り物なので、そのデータをそのものを出すわけにはいかないが、参考に、同じ曲を自分で作成したオケで「歌ってみた」ものがいくつかあるので、ご参考に。こんな感じである。
上記の録音でも分かるように、部屋の内外のノイズを拾ってしまっていること、本当は48kHzか96kHzでの収録が望ましいのを44.1kHzで録ったこと、さらにはMIDIデータのBPMが固定ではなかったため、ボーカルデータの後処理が大変で音質を下げてしまった。
録音から公開まで時間がかかったことにはそういった問題があったと、後で徳田教授から説明を受けた。まだこれは「Sinsyボイス m003e_beta 松尾P」とあるようにベータ版なので、音質改善のチャンスが残されている。歌ってみたが捗ると話題の「だんぼっち」でどの程度いけるのかは試してみないとわからないが、録音環境も理想的なものに少しでも近づけて再度挑戦し、品質を上げたいと考えている。
そういうわけで、このバージョンで、音質面で問題があるとすれば、それは当方の収録条件が原因。まだ良くしていきたいと思っているので、それまでは現行のベータ版でぜひ歌わせてほしい。
みんな俺の声を使ってください! ってことでSinsyの使い方を解説
Sinsyを使うためには、MusicXMLというフォーマットの楽譜データを作成する必要がある。筆者は五線譜で入力するFinale NotePadというフリーウェアを使っている(Mac版、Windows版がある)。Cadencii、MuseScoreといったアプリも利用可能だ。
譜面ができたらMusicXML形式で書き出し、そのファイルをSinsyにサイトで送信する。数秒待つと、.wav形式のオーディオデータで、m003e_betaが歌う英語のボーカルがダウンロードできるようになる。
楽譜をスタジオ付きシンガーの松尾P君に渡すと、スタジオの中で歌って、「できたよ」と渡してくれる――そんなイメージだ。
スタジオにいるシンガーは1人ではない。英語の歌ならば、m003e_beta(つまり、筆者の声です!)だけでなく、女声の「f002e 香鈴(シャンリン)」も使える。日本語は、同じ人が歌う「f002j 香鈴」、初号機の「f001j 謡子」。そして、UTAUでもおなじみの波音リツが「f004j 波音リツS」として加わった(デモは去年から出ていたが、使えるようになったのはこのクリスマスから)。Sinsyではこの4人、5種類の歌声を無料で使うことができる。
「調教いらず」でリアルな歌声を手に入れることができるSinsyだが、譜面で表現できないような細かいニュアンスまで「調教」することは難しい。そこはMelodyneなどのピッチエディタ(DAWに付属、内蔵するものも多い)と併用するなどの方法もある。
なお、ローカルでSinsyが使えたらいいですね、という話は今回実現した。ソースコードが公開されたからだ。Sinsyのバージョンは初期型で、0.9となる。早くも試した方のブログはこちら。
自分の知らないところで、自分が歌えない、知らない曲が自分の歌声で響いていくというのは、自分自身の理想型でもある。どんどん歌わせていってほしい。m003e_betaに歌わせたら、ニコニコ動画やYouTube、SoundCloudなどに投稿してもらえるとうれしい。
エクシングへの取材でも書いたが、HMM方式の歌声合成には、歌唱者適応という技術がある。その技術がさらに進めば、数曲しか残っていない場合でもその歌声からボイスを構築し、たくさんの人がその歌声で曲を作ってくれる。自分たちがいなくなっても続いていくものがあるとうれしい。
MMDAgentはAndroid対応に
Sinsyの兄弟分とも言える、同じく徳田チームによる製品「MMDAgent」(3Dキャラクターと対話できるソフト)もこのほどメジャーアップデートを果たした。今回はAndroid対応が目玉だ。徳田教授に聞いたところ、iOS版は人的リソースの問題から現時点で予定はないそうだ。
移植や他形態での利用については、基本的に修正BSDライセンスで公開しているため「商用利用も含めてどのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。例外はメイちゃんの3Dモデルで、こちらはクリエイティブ・コモンズのCC BY-NCで公開なので「商用利用を除き、どのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。
つまり、版権的に使えるMMDモデルがあれば、それを利用して独自の対話型3DエージェントをiPhone、iPad向けに作ることも可能となる。これはMMDAgent関連の開発コミュニティに期待したいところだ。
関連記事
- 段ボール防音室「だんぼっち」にひきこもって歌ってみたよ
周囲を気にせず“歌ってみた”ができる「だんぼっち」を使ってみました。段ボール好きのうちのネコを追い払い、いざ熱唱……! - ヤマハが超お手軽なボカロ曲制作iPhoneアプリ「VOCALOID first」を無料公開 水口哲也プロデューサーに話を聞いてきた
あらかじめメロディーが入った、伴奏付きの素材をつなげるだけで短い「ボカロ曲」が完成。さらに歌詞も簡単に作れる仕掛けが。 - VOCALOIDチップを搭載した学研「歌うキーボード」を弾いて聞いてきた
「Maker Faire Tokyo 2013」の学研ブースで体験できるぞ! - VOCALOIDエンジン引っさげ、ヤマハがゲームに参入 第1弾「ボカロダマ」で遊んでみた
ドコモがiPhoneを売り始め、日本のスマートフォンが一気にiPhoneに向かおうとしている。iPhoneアプリ「ボカロダマ」はVOCALOIDの裾野を広げるか……! - ボカロ曲の動画が超お手軽にできちゃう3Dアプリ「キャラミんStudio」を使ってみた
「これは3DのGarageBandだ」。使ってみてそう確信した。 - 「ボカロの名作クロスフェード」できる音楽サービス「Songrium」、産総研が公開
Web上の音楽コンテンツの関係性を可視化する音楽視聴支援システム。 - 初音ミクがMac、英語、GarageBand対応――「肩の荷が下りました」とクリプトン伊藤社長
6年かかりました。MacユーザーのボカロPおよびボカロPになりたいMacユーザーの皆さん、チャンスはついに訪れた! - リスナーとクリエイターの境界をあいまいにする産総研「Songle」が本格稼働
「ぼかりす」メンバーが音楽鑑賞を新たな次元に押し上げる。「能動的音楽鑑賞」ってなに?
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
-
「電車の中で見ちゃダメ」「笑ったww」 実家からLINE「子ヤギがすばしっこくて捕まらない」→送られてきた衝撃姿が320万表示!
-
誰も教えてくれなかった“裁縫の裏ワザ”が目からウロコ 200万再生のライフハックに「画期的」と称賛【海外】
-
小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
-
娘の給食の献立表を見たら…… 正体不明の“謎の料理名”が「これはわからんw」と話題に その意外な正体に納得!
-
プロ野球チップスでまた“不良品”流出 伊藤大海「176m」表記に続き…… カルビー謝罪「深くお詫び」
-
1年半ケージに引きこもっていたシャーシャー猫が、ある夜布団に入ってきて…… 感涙の行動に「まるで別猫」「こんな日が来るなんて」
-
メルカリで300円の紙モノセットを買ってみたら…… 出品者のあたたかな心遣いに「利益は考えていないんでしょうね」「見ててわくわくします」
-
子どもに高級キーボードのパーツを捨てられた → 公式の“先読みしすぎた対応”が話題「そういうこともあろうかと」
-
巨大深海魚のぶっとい毒針に刺され5時間後、体がとんでもないことに…… 衝撃の経過報告に「死なないで」
-
ダイソー「マルチ万能ほうき」が家事ラクの救世主 名前負け知らずの便利さに「これやばっ!!」「220円に驚き」の声
- 小1娘、ペンギンの卵を楽しみに育ててみたら…… 期待を裏切る生き物の爆誕に「声出して笑ってしまったw」「反応がめちゃくちゃ可愛い」
- 富山県警のX投稿に登場の女性白バイ隊員に過去一注目集まる「可愛い過ぎて、取締り情報が入ってこない」
- 2カ月赤ちゃん、おばあちゃんに少々強引な寝かしつけをされると…… コントのようなオチに「爆笑!」「可愛すぎて無事昇天」
- 異世界転生したローソン出現 ラスボスに挑む前のショップみたいで「合成かと思った」「日本にあるんだ」
- 【今日の計算】「8+9÷3−5」を計算せよ
- 21歳の無名アイドル、ビジュアル拡散で「あの頃の橋本環奈すぎる」とSNS騒然 「実物の方が可愛い」「見つかっちゃったなー」の声も
- 1歳赤ちゃん、寝る時間に現れないと思ったら…… 思わぬお仲間連れとご紹介が「めっちゃくちゃ可愛い」と220万再生
- 業務スーパーで買ったアサリに豆乳を与えて育てたら…… 数日後の摩訶不思議な変化に「面白い」「ちゃんと豆乳を食べてた?」
- 祖母から継いだ築80年の古家で「謎の箱」を発見→開けてみると…… 驚きの中身に「うわー!スゴッ」「かなり高価だと思いますよ!」
- 「ゆるキャン△」のイメージビジュアルそのまま? 工事の看板イラストが登場キャラにしか見えない 工事担当者「狙いました」
- フワちゃん、弟の結婚式で卑劣な行為に「席次見て名前覚えたからな」 めでたい場でのひんしゅく行為に「プライベート守ろうよ!」の声
- 親が「絶対たぬき」「賭けてもいい」と言い張る動物を、保護して育ててみた結果…… 驚愕の正体が230万表示「こんなん噴くわ!」
- 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
- フワちゃん、収録中に見えてはいけない“部位”が映る まさかの露出に「拡大しちゃったじゃん」「またか」の声
- スーパーで売れ残っていた半額のカニを水槽に入れてみたら…… 220万再生された涙の結末に「切なくなった」「凄く感動」
- 桐朋高等学校、78期卒業生の答辞に賛辞やまず 「只者ではない」「感動のあまり泣いて10回読み直した」
- 「これは悲劇」 ヤマザキ“春のパンまつり”シールを集めていたはずなのに…… 途中で気づいたまさかの現実
- 「ふざけんな」 宿泊施設に「キャンセル料金を払わなくする方法」が物議 宿泊施設「大目に見てきたが厳格化する」
- がん闘病中の見栄晴、20回以上の放射線治療を受け変化が…… 「痛がゆくなって来ました」
- 食べ終わったパイナップルの葉を土に植えたら…… 3年半後、目を疑う結果に「もう、ただただ感動です」「ちょっと泣きそう」