俺、歌声になってみたから、歌わせてみない? 楽譜を入力すれば歌ってくれる「Sinsy」の中の人体験

自分の知らないところで、自分の声が、知らない曲を歌っている――そんな展開を期待してます。

» 2013年12月26日 17時52分 公開
[松尾公也,ねとらぼ]

 2009年のクリスマス、Sinsyという歌声合成技術がデビューした。サンプリングした音の素片を結合させるVOCALOIDやUTAUとは違う、HMM(隠れマルコフモデル)という統計的な手法を用いて人間の歌声をモデリングし、本物の人間のようにリアルな歌い方が可能となっている。

 Sinsyは名古屋工業大学が提供している無料のWebサービスで、電子フォーマットの楽譜をインプットすると歌声のオーディオデータを吐き出してくれる。この技術をベースにCeVIO Creative Studioという製品も今年発売された。

 そして2013年のクリスマス、筆者はそのSinsyの歌声の「中の人」になった。ブラウザから誰でも使えるバーチャルシンガーになったのだ。Sinsyではこのシンガーを「ボイス」と呼ぶ。「Sinsyボイス m003e_beta 松尾P」の誕生である。

画像 ボーカル一覧に筆者の声が!!! 言語は英語です

中の人になるためにすべきこと

 きっかけは学会への取材だ。昨年2月に開催された情報処理学会 音楽情報科学研究会・音声言語情報処理研究会の「歌声情報処理最前線!!」で、名古屋工業大学国際音声技術研究所の徳田恵一教授と大浦圭一郎特任助教による講演「自動学習により人間のように歌う音声合成システム ―Sinsy―」があった。このとき「英語音源あると便利でいいんですよね。あと、ローカルで処理できるとうれしい」と要望を出したら、「中の人をやってみませんか?」という逆提案されたのだ。

 この時点では英語を歌えるボイスはまだなかった。徳田教授は筆者が英語のカバー曲を歌っているのを知っていたのでもちかけてくれたようだ。UTAUを使って自分の英語音源を作ってみたいと考えていたけどなかなか正しいやり方にたどりつけずにいたので、これは試す価値があると思い快諾。収録の条件を聞いて、さっそく試すことにした。

 VOCALOIDやUTAUとは違い、意味のない文字列を一定の音程で歌う必要はない。Sinsyの音源収録では、ただ歌を歌えばいい。今回は英語音源なので、英語の歌だ。10数曲あればいいというので、特に練習なしで歌える14曲を選んだ。

  • And I Love Her
  • Yesterday
  • All My Loving
  • Get Back
  • The Fool On The Hill
  • Back In The U.S.S.R.
  • Here, There And Everywhere
  • Blackbird
  • Hey Jude
  • Penny Lane
  • Michelle
  • Let It Be
  • Lady Madonna
  • The Long And Winding Road

 すべてビートルズの曲で、ポール・マッカートニーがリードボーカルを取っているのを選んだ。歌いまわしとかがあまり変ってしまうとよくないだろうという、個人的な判断からだ。ポールの曲を歌うときにはできるだけ節回しを似せるように心がけているので、多少なりともポールっぽい歌声合成音源になれば、という目論見もあってのことだ。成功するしないは別にして。

 これらの曲を選ぶ上でもう1つ、ポイントがあった。それはMIDIのカラオケが存在すること。この14曲については、ヤマハが販売しているMIDI演奏データを、こちらと名古屋工業大学双方で購入して使った。これを参考に、ボーカルデータと対照させる楽譜データをSinsyチームで作っていくのだ。

 こちらでは、MIDIデータをQuickTime Proに読み込み、オーディオデータに変換してからiMacのGarageBandに取り込み、ボーカルを録音していった。収録場所は、なんの防音もされていない自宅リビング。2012年3月の、家族がいない時を見計らって、一気にほぼ1日で録音した。サンプリング周波数は44.1kHz。

 オケは売り物なので、そのデータをそのものを出すわけにはいかないが、参考に、同じ曲を自分で作成したオケで「歌ってみた」ものがいくつかあるので、ご参考に。こんな感じである。

 上記の録音でも分かるように、部屋の内外のノイズを拾ってしまっていること、本当は48kHzか96kHzでの収録が望ましいのを44.1kHzで録ったこと、さらにはMIDIデータのBPMが固定ではなかったため、ボーカルデータの後処理が大変で音質を下げてしまった。

 録音から公開まで時間がかかったことにはそういった問題があったと、後で徳田教授から説明を受けた。まだこれは「Sinsyボイス m003e_beta 松尾P」とあるようにベータ版なので、音質改善のチャンスが残されている。歌ってみたが捗ると話題の「だんぼっち」でどの程度いけるのかは試してみないとわからないが、録音環境も理想的なものに少しでも近づけて再度挑戦し、品質を上げたいと考えている。

 そういうわけで、このバージョンで、音質面で問題があるとすれば、それは当方の収録条件が原因。まだ良くしていきたいと思っているので、それまでは現行のベータ版でぜひ歌わせてほしい。

みんな俺の声を使ってください! ってことでSinsyの使い方を解説

 Sinsyを使うためには、MusicXMLというフォーマットの楽譜データを作成する必要がある。筆者は五線譜で入力するFinale NotePadというフリーウェアを使っている(Mac版、Windows版がある)。Cadencii、MuseScoreといったアプリも利用可能だ。

 譜面ができたらMusicXML形式で書き出し、そのファイルをSinsyにサイトで送信する。数秒待つと、.wav形式のオーディオデータで、m003e_betaが歌う英語のボーカルがダウンロードできるようになる。

 楽譜をスタジオ付きシンガーの松尾P君に渡すと、スタジオの中で歌って、「できたよ」と渡してくれる――そんなイメージだ。

 スタジオにいるシンガーは1人ではない。英語の歌ならば、m003e_beta(つまり、筆者の声です!)だけでなく、女声の「f002e 香鈴(シャンリン)」も使える。日本語は、同じ人が歌う「f002j 香鈴」、初号機の「f001j 謡子」。そして、UTAUでもおなじみの波音リツが「f004j 波音リツS」として加わった(デモは去年から出ていたが、使えるようになったのはこのクリスマスから)。Sinsyではこの4人、5種類の歌声を無料で使うことができる。

 「調教いらず」でリアルな歌声を手に入れることができるSinsyだが、譜面で表現できないような細かいニュアンスまで「調教」することは難しい。そこはMelodyneなどのピッチエディタ(DAWに付属、内蔵するものも多い)と併用するなどの方法もある。

 なお、ローカルでSinsyが使えたらいいですね、という話は今回実現した。ソースコードが公開されたからだ。Sinsyのバージョンは初期型で、0.9となる。早くも試した方のブログはこちら

 自分の知らないところで、自分が歌えない、知らない曲が自分の歌声で響いていくというのは、自分自身の理想型でもある。どんどん歌わせていってほしい。m003e_betaに歌わせたら、ニコニコ動画やYouTube、SoundCloudなどに投稿してもらえるとうれしい。

 エクシングへの取材でも書いたが、HMM方式の歌声合成には、歌唱者適応という技術がある。その技術がさらに進めば、数曲しか残っていない場合でもその歌声からボイスを構築し、たくさんの人がその歌声で曲を作ってくれる。自分たちがいなくなっても続いていくものがあるとうれしい。

MMDAgentはAndroid対応に

 Sinsyの兄弟分とも言える、同じく徳田チームによる製品「MMDAgent」(3Dキャラクターと対話できるソフト)もこのほどメジャーアップデートを果たした。今回はAndroid対応が目玉だ。徳田教授に聞いたところ、iOS版は人的リソースの問題から現時点で予定はないそうだ。

 移植や他形態での利用については、基本的に修正BSDライセンスで公開しているため「商用利用も含めてどのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。例外はメイちゃんの3Dモデルで、こちらはクリエイティブ・コモンズのCC BY-NCで公開なので「商用利用を除き、どのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。

 つまり、版権的に使えるMMDモデルがあれば、それを利用して独自の対話型3DエージェントをiPhone、iPad向けに作ることも可能となる。これはMMDAgent関連の開発コミュニティに期待したいところだ。

Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10
  1. /nl/articles/2407/13/news011.jpg 日本地図で「これまで“気温37度以上”を観測した都道府県」を赤く塗ったら…… 唯一の“意外な空白県”に「マジかよ」「転勤したい」
  2. /nl/articles/2407/08/news120.jpg 17歳がバイト代を注ぎ込み、購入したカメラで鳥を撮影したら…… 美しい1枚に写り込んだまさかの光景に「ヤバい」
  3. /nl/articles/2407/10/news171.jpg パパが押入れに作った秘密基地、4年後には…… 次第に2人娘に奪われていく過程に「最高」「コレは欲しい」 秘密基地の現在は?
  4. /nl/articles/2407/12/news027.jpg 沸騰したアメに金平糖を入れると…… 京都の製菓店が作った“斬新スイーツ”の完成形に「すごい発想」「夢みたい…」
  5. /nl/articles/2407/12/news151.jpg カインズの家電が使用中に発火…… 「ただちに使用中止」呼びかけ、約1万5000台回収 「心よりお詫び」
  6. /nl/articles/2407/12/news021.jpg お昼寝中の柴犬、すぐ近くに“招かれざる客”が現れ…… まさかの正体にワンコも驚き「初めて見たww」「世界よこれが日本の番犬だ」
  7. /nl/articles/2407/11/news032.jpg 「考えた人天才やろ」 ある地下鉄のホームドアに書かれた“マジで助かる表示”に「全駅でやるべき」など絶賛の声
  8. /nl/articles/2407/13/news076.jpg 大谷翔平の妻・真美子さん、レアな“動画登場”にネット歓喜 ドジャース夫人会の女子会に反響「溶け込んでる」「素敵な時間」
  9. /nl/articles/2407/12/news116.jpg GU、SNSで話題の「バレルレッグジーンズ」全店発売を延期 「予想を大幅に上回る売れ行き」で
  10. /nl/articles/2407/11/news117.jpg 丸山桂里奈、“元夫”との2ショットに「え!!」 成長した娘にも注目の声「もうこんなに大きくなって!!」
先週の総合アクセスTOP10
  1. 「鬼すぎない?」 大正製薬の広告が“性差別”と物議…… 男女の“非対称性”に「昭和かな?」「時代にあってない」
  2. ヤマト運輸のLINEに「ありがとニャン」と返信したら…… “意外な機能”に「知らなかった」と驚き
  3. “性被害”描くも監督発言が物議の映画、公式サイトから“削除された一文”に「なぜ」「あまりにも……」
  4. イヌワシが捕えて飛ぶのはまさかの…… 自然の厳しさと営みに感動する姿が660万件表示「こんな鮮明に見えるのは初めて」
  5. 大好きな新聞屋さんに会えた柴犬、喜びを爆発させるが…… 切なすぎるお別れに「大好きがあふれてる」「帰りたくなくなっちゃいますね」
  6. 「爆笑した」 スイカを切ったら驚きの光景が……! 自信満々に収穫した夫婦を悲しみと失望がおそう
  7. 「ごめん母さん。塩20キロ届く」LINEで謝罪 → お母さんからの返信が「最高」「まじで好きw」と話題に
  8. 「ヒルナンデス!」で道を教えてくれた男性が「丁(てい)字路」と発言 出演者が笑う一幕にネットで批判続出
  9. 「ロンハー」有吉弘行のヤジに指摘の声「酷かった」「凄く悲しい言葉」 42歳タレントが涙浮かべる
  10. 東京の用水路にアマゾン川の生き物が大量発生だと……? “いてはいけないヤツ”の捕獲に衝撃「想像以上にヤバかった」「ホンマに罪深い」
先月の総合アクセスTOP10
  1. 18÷0=? 小3の算数プリントが不可解な出題で物議「割れませんよね?」「“答えなし”では?」
  2. 日本人ならなぜかスラスラ読めてしまう字が“300万再生超え” 「輪ゴム」みたいなのに「カメラが引いたら一気に分かる」と感動の声
  3. 「最初から最後まで全ての瞬間がアウト」 Mrs. GREEN APPLE、コカ・コーラとのタイアップ曲に物議 「誰かこれを止める人いなかったのか」
  4. 「値段を三度見くらいした」 ハードオフに38万5000円で売っていた“予想外の商品”に思わず目を疑う
  5. 「思わず笑った」 ハードオフに4万4000円で売られていた“まさかのフィギュア”に仰天 「玄関に置いときたい」
  6. かわいすぎる卓球女子の最新ショットが730万回表示の大反響 「だれや……この透明感あふれる卓球天使は」「AIじゃん」
  7. 「これはさすがに……」 キャッシュレス推進“ピクトグラム”コンクールに疑問の声相次ぐ…… 主催者の見解は
  8. 天皇皇后両陛下の英国訪問、カミラ王妃の“日本製バッグ”に注目 皇后陛下が贈ったもの
  9. 「この家おかしい」と投稿された“家の図面”が111万表示 本当ならばおそろしい“状態”に「パッと見だと気付けない」「なにこれ……」
  10. 和菓子屋の店主、バイトに難題“はさみ菊”を切らせてみたら…… 282万表示を集めた衝撃のセンスに「すごすぎんか」「天才!?」