俺、歌声になってみたから、歌わせてみない? 楽譜を入力すれば歌ってくれる「Sinsy」の中の人体験
自分の知らないところで、自分の声が、知らない曲を歌っている――そんな展開を期待してます。
2009年のクリスマス、Sinsyという歌声合成技術がデビューした。サンプリングした音の素片を結合させるVOCALOIDやUTAUとは違う、HMM(隠れマルコフモデル)という統計的な手法を用いて人間の歌声をモデリングし、本物の人間のようにリアルな歌い方が可能となっている。
Sinsyは名古屋工業大学が提供している無料のWebサービスで、電子フォーマットの楽譜をインプットすると歌声のオーディオデータを吐き出してくれる。この技術をベースにCeVIO Creative Studioという製品も今年発売された。
そして2013年のクリスマス、筆者はそのSinsyの歌声の「中の人」になった。ブラウザから誰でも使えるバーチャルシンガーになったのだ。Sinsyではこのシンガーを「ボイス」と呼ぶ。「Sinsyボイス m003e_beta 松尾P」の誕生である。
中の人になるためにすべきこと
きっかけは学会への取材だ。昨年2月に開催された情報処理学会 音楽情報科学研究会・音声言語情報処理研究会の「歌声情報処理最前線!!」で、名古屋工業大学国際音声技術研究所の徳田恵一教授と大浦圭一郎特任助教による講演「自動学習により人間のように歌う音声合成システム ―Sinsy―」があった。このとき「英語音源あると便利でいいんですよね。あと、ローカルで処理できるとうれしい」と要望を出したら、「中の人をやってみませんか?」という逆提案されたのだ。
この時点では英語を歌えるボイスはまだなかった。徳田教授は筆者が英語のカバー曲を歌っているのを知っていたのでもちかけてくれたようだ。UTAUを使って自分の英語音源を作ってみたいと考えていたけどなかなか正しいやり方にたどりつけずにいたので、これは試す価値があると思い快諾。収録の条件を聞いて、さっそく試すことにした。
VOCALOIDやUTAUとは違い、意味のない文字列を一定の音程で歌う必要はない。Sinsyの音源収録では、ただ歌を歌えばいい。今回は英語音源なので、英語の歌だ。10数曲あればいいというので、特に練習なしで歌える14曲を選んだ。
- And I Love Her
- Yesterday
- All My Loving
- Get Back
- The Fool On The Hill
- Back In The U.S.S.R.
- Here, There And Everywhere
- Blackbird
- Hey Jude
- Penny Lane
- Michelle
- Let It Be
- Lady Madonna
- The Long And Winding Road
すべてビートルズの曲で、ポール・マッカートニーがリードボーカルを取っているのを選んだ。歌いまわしとかがあまり変ってしまうとよくないだろうという、個人的な判断からだ。ポールの曲を歌うときにはできるだけ節回しを似せるように心がけているので、多少なりともポールっぽい歌声合成音源になれば、という目論見もあってのことだ。成功するしないは別にして。
これらの曲を選ぶ上でもう1つ、ポイントがあった。それはMIDIのカラオケが存在すること。この14曲については、ヤマハが販売しているMIDI演奏データを、こちらと名古屋工業大学双方で購入して使った。これを参考に、ボーカルデータと対照させる楽譜データをSinsyチームで作っていくのだ。
こちらでは、MIDIデータをQuickTime Proに読み込み、オーディオデータに変換してからiMacのGarageBandに取り込み、ボーカルを録音していった。収録場所は、なんの防音もされていない自宅リビング。2012年3月の、家族がいない時を見計らって、一気にほぼ1日で録音した。サンプリング周波数は44.1kHz。
オケは売り物なので、そのデータをそのものを出すわけにはいかないが、参考に、同じ曲を自分で作成したオケで「歌ってみた」ものがいくつかあるので、ご参考に。こんな感じである。
上記の録音でも分かるように、部屋の内外のノイズを拾ってしまっていること、本当は48kHzか96kHzでの収録が望ましいのを44.1kHzで録ったこと、さらにはMIDIデータのBPMが固定ではなかったため、ボーカルデータの後処理が大変で音質を下げてしまった。
録音から公開まで時間がかかったことにはそういった問題があったと、後で徳田教授から説明を受けた。まだこれは「Sinsyボイス m003e_beta 松尾P」とあるようにベータ版なので、音質改善のチャンスが残されている。歌ってみたが捗ると話題の「だんぼっち」でどの程度いけるのかは試してみないとわからないが、録音環境も理想的なものに少しでも近づけて再度挑戦し、品質を上げたいと考えている。
そういうわけで、このバージョンで、音質面で問題があるとすれば、それは当方の収録条件が原因。まだ良くしていきたいと思っているので、それまでは現行のベータ版でぜひ歌わせてほしい。
みんな俺の声を使ってください! ってことでSinsyの使い方を解説
Sinsyを使うためには、MusicXMLというフォーマットの楽譜データを作成する必要がある。筆者は五線譜で入力するFinale NotePadというフリーウェアを使っている(Mac版、Windows版がある)。Cadencii、MuseScoreといったアプリも利用可能だ。
譜面ができたらMusicXML形式で書き出し、そのファイルをSinsyにサイトで送信する。数秒待つと、.wav形式のオーディオデータで、m003e_betaが歌う英語のボーカルがダウンロードできるようになる。
楽譜をスタジオ付きシンガーの松尾P君に渡すと、スタジオの中で歌って、「できたよ」と渡してくれる――そんなイメージだ。
スタジオにいるシンガーは1人ではない。英語の歌ならば、m003e_beta(つまり、筆者の声です!)だけでなく、女声の「f002e 香鈴(シャンリン)」も使える。日本語は、同じ人が歌う「f002j 香鈴」、初号機の「f001j 謡子」。そして、UTAUでもおなじみの波音リツが「f004j 波音リツS」として加わった(デモは去年から出ていたが、使えるようになったのはこのクリスマスから)。Sinsyではこの4人、5種類の歌声を無料で使うことができる。
「調教いらず」でリアルな歌声を手に入れることができるSinsyだが、譜面で表現できないような細かいニュアンスまで「調教」することは難しい。そこはMelodyneなどのピッチエディタ(DAWに付属、内蔵するものも多い)と併用するなどの方法もある。
なお、ローカルでSinsyが使えたらいいですね、という話は今回実現した。ソースコードが公開されたからだ。Sinsyのバージョンは初期型で、0.9となる。早くも試した方のブログはこちら。
自分の知らないところで、自分が歌えない、知らない曲が自分の歌声で響いていくというのは、自分自身の理想型でもある。どんどん歌わせていってほしい。m003e_betaに歌わせたら、ニコニコ動画やYouTube、SoundCloudなどに投稿してもらえるとうれしい。
エクシングへの取材でも書いたが、HMM方式の歌声合成には、歌唱者適応という技術がある。その技術がさらに進めば、数曲しか残っていない場合でもその歌声からボイスを構築し、たくさんの人がその歌声で曲を作ってくれる。自分たちがいなくなっても続いていくものがあるとうれしい。
MMDAgentはAndroid対応に
Sinsyの兄弟分とも言える、同じく徳田チームによる製品「MMDAgent」(3Dキャラクターと対話できるソフト)もこのほどメジャーアップデートを果たした。今回はAndroid対応が目玉だ。徳田教授に聞いたところ、iOS版は人的リソースの問題から現時点で予定はないそうだ。
移植や他形態での利用については、基本的に修正BSDライセンスで公開しているため「商用利用も含めてどのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。例外はメイちゃんの3Dモデルで、こちらはクリエイティブ・コモンズのCC BY-NCで公開なので「商用利用を除き、どのように利用してもOK。ただし、COPYRIGHT表示は必須」となる。
つまり、版権的に使えるMMDモデルがあれば、それを利用して独自の対話型3DエージェントをiPhone、iPad向けに作ることも可能となる。これはMMDAgent関連の開発コミュニティに期待したいところだ。
関連記事
- 段ボール防音室「だんぼっち」にひきこもって歌ってみたよ
周囲を気にせず“歌ってみた”ができる「だんぼっち」を使ってみました。段ボール好きのうちのネコを追い払い、いざ熱唱……! - ヤマハが超お手軽なボカロ曲制作iPhoneアプリ「VOCALOID first」を無料公開 水口哲也プロデューサーに話を聞いてきた
あらかじめメロディーが入った、伴奏付きの素材をつなげるだけで短い「ボカロ曲」が完成。さらに歌詞も簡単に作れる仕掛けが。 - VOCALOIDチップを搭載した学研「歌うキーボード」を弾いて聞いてきた
「Maker Faire Tokyo 2013」の学研ブースで体験できるぞ! - VOCALOIDエンジン引っさげ、ヤマハがゲームに参入 第1弾「ボカロダマ」で遊んでみた
ドコモがiPhoneを売り始め、日本のスマートフォンが一気にiPhoneに向かおうとしている。iPhoneアプリ「ボカロダマ」はVOCALOIDの裾野を広げるか……! - ボカロ曲の動画が超お手軽にできちゃう3Dアプリ「キャラミんStudio」を使ってみた
「これは3DのGarageBandだ」。使ってみてそう確信した。 - 「ボカロの名作クロスフェード」できる音楽サービス「Songrium」、産総研が公開
Web上の音楽コンテンツの関係性を可視化する音楽視聴支援システム。 - 初音ミクがMac、英語、GarageBand対応――「肩の荷が下りました」とクリプトン伊藤社長
6年かかりました。MacユーザーのボカロPおよびボカロPになりたいMacユーザーの皆さん、チャンスはついに訪れた! - リスナーとクリエイターの境界をあいまいにする産総研「Songle」が本格稼働
「ぼかりす」メンバーが音楽鑑賞を新たな次元に押し上げる。「能動的音楽鑑賞」ってなに?
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
-
【追記あり】夫に「油買ってきて」と頼んだのに、手ぶらで帰宅した理由はまさかの…… とんでもないオチに「やめてww」「久しぶりに大爆笑」
-
1歳息子の“はじめての寝落ち”が140万再生 10歳兄のやさしい行動に「なにこの平和でかわいい世界」「最高に癒やされる」と絶賛の声
-
「予言者いた」「先見の明」 大谷翔平選手&真美子さんの結婚を2021年時点で予言(?)している投稿が発掘され話題に
-
北海道内の移動距離を本州と比較したら…… 感覚がバグるマップ画像に「これが北海道」「大きすぎる」
-
生後1カ月の赤ちゃん「ぼく泣かないもんねっ」 うるうるおめめとへの字口が「はぁ〜たまらん!」「ぐぁぁああああっっ」取り乱すほどかわいい
-
「一番イチャイチャしているように見える」 大谷選手が公開した写真でドジャース山本由伸選手の“手つなぎ”?が話題に 「そっちに目が行く」
-
「妻の服を勝手に着て脱げなくなったムキムキ夫とデカワンコ」に爆笑の嵐 シュールすぎる状況が500万表示突破
-
“おしりが5日で変わる”トレーニング! 「明日からやるか」「1日1回だけなら続けられる」と累計3000万再生突破
-
大好きなボールを100個プレゼントされたときのワンコの表情に「放心ww」「引いてない?」 直視できない姿がSNSで話題
-
赤ちゃんが妙に静かだと思ったら…… 思わぬものへの“真剣モード”に笑顔になる人続出「たれたもちもちほっぺたまらん!」
- 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
- 昭和時代に“無かった物”が写っている……? 細かすぎて伝わらない「未来から来たことがバレた写真」に6万いいね
- 「マジで汚い」「こんなもんです」 辻希美、“大散乱”のリビングと“新”キッチンの差を公開し共感の声集まる
- 双子の赤ちゃん、姉が全力でくしゃみして…… 被害にあった妹の反応に「生後3ヶ月でドリフのコントw」「めちゃどっちもカワイイ」と絶賛の声
- 「よくも病院に連れてきたな……」とにらむ猫、先生が来た瞬間 驚きの変貌に爆笑の声「これがほんとの猫かぶり」
- 急に片耳がたれたワンコ、慌てて病院にいった結果…… 「こんな可愛い診断結果初めて見たよw」「笑っちゃった」と反響
- 「何羽いる?」一見普通の“草むら”、よく見ると……? 思わず絶叫まちがいなしの1枚に「どっさりいるw」「まさに迷彩!」
- 店員に「この子は懐きませんよ」と言われたチンチラ、家に来て3日後…… 人を信じる姿に「愛が伝わったんですね」
- 元SDN48光上せあら、目を離した隙に……子どもが商品を触り“全買取” 「子連れママに厳しすぎないか?」
- 柴犬を子どものように育てた結果、人間みたいな行動をするようになった 何気ない幸せな日常に「完全に家族の一員」「全部が愛くるしい」
- 釣れたキジハタを1年飼ってみると…… 飼い主も驚きの姿に「もはや、魚じゃない」「もう家族やね」と反響
- パーカーをガバッとまくり上げて…… 女性インフルエンサー、台湾でボディーライン晒す 上半身露出で物議 「羞恥心どこに置いてきたん?」
- “TikTokはエロの宝庫だ” 女性インフルエンサー、水着姿晒した雑誌表紙に苦言 「なんですか? これ?」
- 1歳妹を溺愛する18歳兄、しかし妹のひと言に表情が一変「ちがうなぁ!?」 ママも笑っちゃうオチに「かわいいし天才笑」「何度も見ちゃう」
- 8歳兄が0歳赤ちゃんを寝かしつけ→2年後の現在は…… 尊く涙が出そうな光景に「可愛すぎる兄妹」「本当に優しい」
- 1人遊びに夢中な0歳赤ちゃん、ママの視線に気付いた瞬間…… 100点満点のリアクションにキュン「かわいすぎて鼻血出そう!」
- 67歳マダムの「ユニクロ・緑のヒートテック重ね着術」に「色の合わせ方が神すぎる」と称賛 センス抜群の着こなしが参考になる
- “双子モデル”りんか&あんな、成長した姿に驚きの声 近影に「こんなにおっきくなって」「ちょっと見ないうちに」
- 犬が同じ場所で2年間、トイレをし続けた結果…… 笑っちゃうほど様変わりした光景が379万表示「そこだけボッ!ってw」
- 新幹線で「高級ウイスキー」を注文→“予想外のサイズ”に仰天 「むしろすげえ」「家に飾りたい」