俺、歌声になってみたから、歌わせてみない? 楽譜を入力すれば歌ってくれる「Sinsy」の中の人体験

自分の知らないところで、自分の声が、知らない曲を歌っている――そんな展開を期待してます。

» 2013年12月26日 17時52分 公開
[松尾公也,ねとらぼ]

 2009年のクリスマス、Sinsyという歌声合成技術がデビューした。サンプリングした音の素片を結合させるVOCALOIDやUTAUとは違う、HMM(隠れマルコフモデル)という統計的な手法を用いて人間の歌声をモデリングし、本物の人間のようにリアルな歌い方が可能となっている。

 Sinsyは名古屋工業大学が提供している無料のWebサービスで、電子フォーマットの楽譜をインプットすると歌声のオーディオデータを吐き出してくれる。この技術をベースにCeVIO Creative Studioという製品も今年発売された。

 そして2013年のクリスマス、筆者はそのSinsyの歌声の「中の人」になった。ブラウザから誰でも使えるバーチャルシンガーになったのだ。Sinsyではこのシンガーを「ボイス」と呼ぶ。「Sinsyボイス m003e_beta 松尾P」の誕生である。

画像 ボーカル一覧に筆者の声が!!! 言語は英語です

中の人になるためにすべきこと

 きっかけは学会への取材だ。昨年2月に開催された情報処理学会 音楽情報科学研究会・音声言語情報処理研究会の「歌声情報処理最前線!!」で、名古屋工業大学国際音声技術研究所の徳田恵一教授と大浦圭一郎特任助教による講演「自動学習により人間のように歌う音声合成システム ―Sinsy―」があった。このとき「英語音源あると便利でいいんですよね。あと、ローカルで処理できるとうれしい」と要望を出したら、「中の人をやってみませんか?」という逆提案されたのだ。

 この時点では英語を歌えるボイスはまだなかった。徳田教授は筆者が英語のカバー曲を歌っているのを知っていたのでもちかけてくれたようだ。UTAUを使って自分の英語音源を作ってみたいと考えていたけどなかなか正しいやり方にたどりつけずにいたので、これは試す価値があると思い快諾。収録の条件を聞いて、さっそく試すことにした。

 VOCALOIDやUTAUとは違い、意味のない文字列を一定の音程で歌う必要はない。Sinsyの音源収録では、ただ歌を歌えばいい。今回は英語音源なので、英語の歌だ。10数曲あればいいというので、特に練習なしで歌える14曲を選んだ。

  • And I Love Her
  • Yesterday
  • All My Loving
  • Get Back
  • The Fool On The Hill
  • Back In The U.S.S.R.
  • Here, There And Everywhere
  • Blackbird
  • Hey Jude
  • Penny Lane
  • Michelle
  • Let It Be
  • Lady Madonna
  • The Long And Winding Road

 すべてビートルズの曲で、ポール・マッカートニーがリードボーカルを取っているのを選んだ。歌いまわしとかがあまり変ってしまうとよくないだろうという、個人的な判断からだ。ポールの曲を歌うときにはできるだけ節回しを似せるように心がけているので、多少なりともポールっぽい歌声合成音源になれば、という目論見もあってのことだ。成功するしないは別にして。

 これらの曲を選ぶ上でもう1つ、ポイントがあった。それはMIDIのカラオケが存在すること。この14曲については、ヤマハが販売しているMIDI演奏データを、こちらと名古屋工業大学双方で購入して使った。これを参考に、ボーカルデータと対照させる楽譜データをSinsyチームで作っていくのだ。

 こちらでは、MIDIデータをQuickTime Proに読み込み、オーディオデータに変換してからiMacのGarageBandに取り込み、ボーカルを録音していった。収録場所は、なんの防音もされていない自宅リビング。2012年3月の、家族がいない時を見計らって、一気にほぼ1日で録音した。サンプリング周波数は44.1kHz。

 オケは売り物なので、そのデータをそのものを出すわけにはいかないが、参考に、同じ曲を自分で作成したオケで「歌ってみた」ものがいくつかあるので、ご参考に。こんな感じである。

 上記の録音でも分かるように、部屋の内外のノイズを拾ってしまっていること、本当は48kHzか96kHzでの収録が望ましいのを44.1kHzで録ったこと、さらにはMIDIデータのBPMが固定ではなかったため、ボーカルデータの後処理が大変で音質を下げてしまった。

 録音から公開まで時間がかかったことにはそういった問題があったと、後で徳田教授から説明を受けた。まだこれは「Sinsyボイス m003e_beta 松尾P」とあるようにベータ版なので、音質改善のチャンスが残されている。歌ってみたが捗ると話題の「だんぼっち」でどの程度いけるのかは試してみないとわからないが、録音環境も理想的なものに少しでも近づけて再度挑戦し、品質を上げたいと考えている。

 そういうわけで、このバージョンで、音質面で問題があるとすれば、それは当方の収録条件が原因。まだ良くしていきたいと思っているので、それまでは現行のベータ版でぜひ歌わせてほしい。

みんな俺の声を使ってください! ってことでSinsyの使い方を解説

 Sinsyを使うためには、MusicXMLというフォーマットの楽譜データを作成する必要がある。筆者は五線譜で入力するFinale NotePadというフリーウェアを使っている(Mac版、Windows版がある)。Cadencii、MuseScoreといったアプリも利用可能だ。

 譜面ができたらMusicXML形式で書き出し、そのファイルをSinsyにサイトで送信する。数秒待つと、.wav形式のオーディオデータで、m003e_betaが歌う英語のボーカルがダウンロードできるようになる。

 楽譜をスタジオ付きシンガーの松尾P君に渡すと、スタジオの中で歌って、「できたよ」と渡してくれる――そんなイメージだ。

 スタジオにいるシンガーは1人ではない。英語の歌ならば、m003e_beta(つまり、筆者の声です!)だけでなく、女声の「f002e 香鈴(シャンリン)」も使える。日本語は、同じ人が歌う「f002j 香鈴」、初号機の「f001j 謡子」。そして、UTAUでもおなじみの波音リツが「f004j 波音リツS」として加わった(デモは去年から出ていたが、使えるようになったのはこのクリスマスから)。Sinsyではこの4人、5種類の歌声を無料で使うことができる。

 「調教いらず」でリアルな歌声を手に入れることができるSinsyだが、譜面で表現できないような細かいニュアンスまで「調教」することは難しい。そこはMelodyneなどのピッチエディタ(DAWに付属、内蔵するものも多い)と併用するなどの方法もある。

 なお、ローカルでSinsyが使えたらいいですね、という話は今回実現した。ソースコードが公開されたからだ。Sinsyのバージョンは初期型で、0.9となる。早くも試した方のブログはこちら

 自分の知らないところで、自分が歌えない、知らない曲が自分の歌声で響いていくというのは、自分自身の理想型でもある。どんどん歌わせていってほしい。m003e_betaに歌わせたら、ニコニコ動画やYouTube、SoundCloudなどに投稿してもらえるとうれしい。

 エクシングへの取材でも書いたが、HMM方式の歌声合成には、歌唱者適応という技術がある。その技術がさらに進めば、数曲しか残っていない場合でもその歌声からボイスを構築し、たくさんの人がその歌声で曲を作ってくれる。自分たちがいなくなっても続いていくものがあるとうれしい。

MMDAgentはAndroid対応に

 Sinsyの兄弟分とも言える、同じく徳田チームによる製品「MMDAgent」(3Dキャラクターと対話できるソフト)もこのほどメジャーアップデートを果たした。今回はAndroid対応が目玉だ。徳田教授に聞いたところ、iOS版は人的リソースの問題から現時点で予定はないそうだ。

 移植や他形態での利用については、基本的に修正BSDライセンスで公開しているため「商用利用も含めてどのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。例外はメイちゃんの3Dモデルで、こちらはクリエイティブ・コモンズのCC BY-NCで公開なので「商用利用を除き、どのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。

 つまり、版権的に使えるMMDモデルがあれば、それを利用して独自の対話型3DエージェントをiPhone、iPad向けに作ることも可能となる。これはMMDAgent関連の開発コミュニティに期待したいところだ。

Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10
  1. /nl/articles/2502/11/news009.jpg 鮮魚店で瀕死の“巨大ガニ”を購入→家に連れて帰り、お風呂場に放ってみると…… まさかの展開に「こわっww」と800万表示
  2. /nl/articles/2502/12/news018.jpg 雑草ボーボーの荒れ地に“牛3頭”を放牧→2週間後…… まさかの光景に「感動しました」「いい仕事してますねぇ~!!」
  3. /nl/articles/2502/12/news033.jpg 5歳のときにトレーニングを始めた女の子→3年後…… 現在の姿が「ハハハすごすぎる」「めちゃくちゃ尊敬」と250万再生【海外】
  4. /nl/articles/2502/12/news022.jpg 古いタオルを手で裂いていくだけで→「すごい…」「意外!」便利アイテムに! 生活の質“爆上がり”アイデアが話題
  5. /nl/articles/2502/12/news007.jpg 「夢見たディスプレイ」空中浮遊するガンダムのプラモデル、その仕組みは…… “122時間”かけて作った超大作が40万再生「マジで感激」
  6. /nl/articles/2502/12/news013.jpg 海外で暮らすパパとビデオ通話中、1歳娘がとったけなげな“行動” 大反響から約1年後……家族の現在を聞いた
  7. /nl/articles/2502/11/news025.jpg ←夫に出すやつ 自分で食べるやつ→ 目を疑うレベルの“落差”に爆笑「わ~おw」「なんかとんでもないのいた」
  8. /nl/articles/2502/11/news033.jpg 妻「“157センチ、43キロが理想”と言う夫に、かわいいと言われたい」→プロに依頼したら…… 「エグッ!」「黒木瞳さんかと」
  9. /nl/articles/2502/12/news028.jpg 伸び放題になった実家の庭木→50代女性が2日間どんどん切ったら…… “見違える光景”に「さすがですね!」「明日は我が身」
  10. /nl/articles/2502/11/news012.jpg 最初に軽く結ぶだけで…… 2000万再生された“マフラーの巻き方”に反響「これは使える」「素晴らしいアイデア」【海外】
先週の総合アクセスTOP10
  1. パパに抱っこされる娘、13年後の成人式に同じ場所とポーズで再現したら…… 「お父さん若返った?笑」「時止まってる」2人の姿に驚き
  2. 古いバスタオルをザクザク切って縫い付けると…… 目からウロコの再利用に「すてきなアイデア」【海外】
  3. 14歳のとき、親友の兄と付き合うことになった女性→13年後…… “まさかの結末”に「韓国ドラマみたい」【海外】
  4. リンゴを1年間、水の中で放置→顕微鏡で見てみたら…… 衝撃の実験結果に「これはすごい」「息をのみました」【海外】
  5. 海釣り中、黒猫に「ちょっと来い」と呼び出された釣り人 → 付いて行くと…… 運命のような保護から2年、飼い主に話を聞いた
  6. “駐車場2台分”の土地に、建築家の夫が家を建てたら…… “とんでもない空間”に驚き「すごい。流行る」
  7. 「なんだこの暗号は……」 マクドナルドの“大人だけが読めるメッセージ”が410万表示「懐かしい~」「読める人同世代w」
  8. 着陸する戦闘機を撮ったはずが…… タイミングが絶妙すぎる1枚に「一部の専門家には貴重な一枚」 投稿者に話を聞いた
  9. ズボラ母が5人分サンドイッチを爆速で作ったら…… 目からウロコの時短テクと美しい仕上がりに「信じられない」
  10. 【今日の計算】「7-2×0+9」を計算せよ
先月の総合アクセスTOP10
  1. ドブで捕獲したザリガニを“清らかな天然水”で2週間育てたら…… 「こりゃすごい」興味深い結末が195万再生「初めて見た」
  2. 「配慮が足りない」 映画の入場特典で「おみくじ」配布→“大凶”も…… 指摘受け配給元謝罪「深くお詫び」
  3. 母「昔は何十人もの男性の誘いを断った」→娘は疑っていたが…… 当時の“モテ必至の姿”が1170万再生「なんてこった!」【海外】
  4. 風呂に入ろうとしたら…… 子どもから“超高難易度ミッション”が課されていた父に笑いと同情 「父さんはどのようにしてこのお風呂に入るのか」
  5. 母親から届いた「もち」の仕送り方法が秀逸 まさかの梱包アイデアに「この発想は無かった」と称賛 投稿者にその後を聞いた
  6. 市役所で手続き中、急に笑い出した職員→何かと思って横を見たら…… 衝撃の光景が340万表示 飼い主にその後を聞いた
  7. 「ごめん母さん。塩20キロ届く」LINEで謝罪 → お母さんからの返信が「最高」「まじで好きw」と話題に
  8. DIYで室温が約10℃変わった「トイレの寒さ対策」が310万再生 コスパ最強のアイデアへ「天才!」「これすごくいい」
  9. 「こんなおばあちゃん憧れ」 80代女性が1週間分の晩ご飯を作り置き “まねしたくなるレシピ”に感嘆「同じものを繰り返していたので助かる」
  10. 岡田紗佳、生配信での発言を謝罪 「とても不快」「暴言だと思う」「残念すぎ」と物議