初音ミクが美空ひばりっぽく歌う「歌唱表現転写」技術ができて調教がはかどりそう:OngaCREST 2014
美空ひばりのようなこぶしやビブラートをミクに“転写”できる技術があるんです。
「美空ひばりのようなこぶしで初音ミクに歌ってほしい。でも本格的なパラメータチューニングは難しそう」「スピッツのグリスダウンが好きでたまらない。この曲もスピッツのような歌い方で聞いてみたい」といったことをかなえる技術「歌唱表現転写システム」が京都大学で開発されました。
8月23日に行われた、音と映像に関するシンポジウム「OngaCREST 2014」で京大の池宮由楽さん、糸山克寿さん、吉井和佳さんが発表した「音楽音響信号中の歌声F0軌跡に対する歌唱表現の転写システム」。
歌い方には、ビブラート、こぶし、グリッサンドなどいろいろなテクニックがあります。例えばぼかりす(VocaListener)という技術を使えば、元の歌手の音の揺らし方などの特徴をVOCALOIDに転写することができるわけですが、そのためにはモデルとなる歌唱として、その曲を全部歌う必要があります。
この研究では、楽曲の中から歌声のF0(音の高さの推移)をとらえ、そこからビブラートの速さ、深さ、などの歌唱表現をパラメータで操作可能なレベルに落とし込み、歌唱表現データベースとしています。
この歌唱表現を、ターゲットとなっている歌唱(人の歌声でもVOCALOIDなどの合成歌唱でも)に転写したうえで音色も補正すると、声質は初音ミクだけど歌い方は美空ひばりだよね、といった歌声が生成されます。
デモでは、美空ひばりの「人生一路」などから抽出した歌唱表現を、初音ミクが歌う「Yesterday」に適用し、美空ひばりの深いビブラートやこぶしをミクの声で再現していました。
声質だけでなく歌い方の特徴までモデリングする技術としては、名古屋工業大学のSinsyや、それを元にしたCeVIOが存在しますが、この技術はまた別のアプローチで、任意の部分にボーカルテクニックを転写することが可能であるというところが違います。
また、複数の歌手の歌唱表現データベースを組み合わせて、グリスダウンは草野マサムネ、こぶしは美空ひばり、ビブラートは平井堅といったこともできるみたいです。
そして、この歌唱表現データベースはプロのものに限らないでしょう。元歌唱が最低1曲あればいいので、例えば亡くなった人の歌い方のままに新しい曲を歌ってもらいたいというニーズに応えられるかもしれません。
この研究が進み、一般の人たちが使えるようになる日が来ることを心から願います。
関連記事
俺、歌声になってみたから、歌わせてみない? 楽譜を入力すれば歌ってくれる「Sinsy」の中の人体験
自分の知らないところで、自分の声が、知らない曲を歌っている――そんな展開を期待してます。音声合成・歌声合成の新星「CeVIO」、その謎が解けた!
無償の音声合成・歌声合成ソフト「CeVIO Creative Studio FREE」が公開された。簡単な操作でキャラのおしゃべりを制作できる期待の新星、その開発の経緯やこれからを教えてもらった。ボカロネット? どうせなら作詞もやってくんないかな、というボカロP向け自動作詞ツールを探してみた
怠惰なあなたのために。ニコニコ動画の7年間をひとまたぎするSongrium「超歴史プレーヤ」が便利すぎる
カテゴリごとの栄枯盛衰もまる分かり!「ポケット・ミク」に好きな歌詞を歌ってもらえる祭りが始まったよ
鍵盤をペンでなぞれば初音ミクの歌声で歌ってくれる「ポケット・ミク」がさらに進化。産総研が音楽体験をさらに刺激的にした「おどるSongrium」、お子ちゃま向けの「サビ抜きSongle」を期間限定で提供
4月1日だけなんてもったいない!
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
大好物のエビを見せたらイカが豹変! 姿を変えて興奮する姿に「怖い」「ポケモンかと思った」
バイクでケーキを持って帰ったら…… ミュージカル俳優、思わぬ形になったケーキに「見たことないほどズタボロ」
道路脇のパイプ穴をのぞいたら大量の…… 思わず笑ってしまう驚きの出会いに「集合住宅ですね」の声
『ちいかわ』通称“島編”が最終話へ 絶望色が強すぎて阿鼻叫喚 想像に任せるオチに“存在しない劇場版”を幻視する読者が続出
葛藤の末、野良の黒猫親子を保護して1カ月後…… 幸せを見つけた家族の光景に「本当に良かった」「癒やされます」
愛犬の大切なおもちゃを洗濯したら→「お友達が……!」 悲しい鳴き声をあげる姿に「家の子も一緒だ」「健気で癒されます」
ミキ亜生、駅で出会った“謎のおばさん”に恐怖「めっちゃ見てくる」 意外な正体にツッコミ殺到「おばさん呼びすんな」「マダム感ww」
『キン肉マン』ゆでたまご・嶋田、ヘルプマーク使用を報告も…… 「正義はないのかこの日本」理解の低さに苦言
物理学を理解しているハムスター、回し車で遊びたい姉妹へのかわいいイジワルが「強い意志を感じる…」と話題に
エド・はるみ、連日ハードな研究で生活も激変 “18種類おかずの手作り弁当”に影響「数と彩りも無くなり」「忙しく時間がなさすぎて」
- 大好物のエビを見せたらイカが豹変! 姿を変えて興奮する姿に「怖い」「ポケモンかと思った」
- 「3カ月で1億円」の加藤紗里、オーナー務める銀座クラブの開店をお祝い “大蛇タトゥー”&金髪での着物姿に「極妻感が否めない」
- 愛犬と外出中「飼いきれなくなったのがいて、それと同じ犬なんだ。タダで持ってきなよ」と言われ…… 飼育放棄された超大型犬の保護に「涙止まりません」
- ミキ亜生、駅で出会った“謎のおばさん”に恐怖「めっちゃ見てくる」 意外な正体にツッコミ殺到「おばさん呼びすんな」「マダム感ww」
- 永野芽郁、初マイバイクで憧れ続けたハーレーをゲット 「みんな見ろ私を!」とテンション全開で聖地ツーリング
- 道路脇のパイプ穴をのぞいたら大量の…… 思わず笑ってしまう驚きの出会いに「集合住宅ですね」の声
- 柴犬が先生に抱っこしてほしくて見せた“奥の手”に爆笑&もん絶! キュンキュンするアピールに「あざとすぎて笑っちゃった」
- 病名不明で入院の渡邊渚アナ、1カ月ぶりの“生存報告”で「私の26年はいくらになる?」 入院直後の直筆日記は荒い字で「手の力も入らない」
- 小泉純一郎元首相、進次郎&滝クリの第2子“孫抱っこ”でデレデレ笑顔 幸せじいじ姿に「顔が優しすぎ」「お孫さんにメロメロ」
- デヴィ夫人、16歳愛孫・キランさんが仏社交界デビュー 母抜かした凛々しい高身長姿に「大人っぽくなりました」
- 病名不明で入院の渡邊渚、3カ月ぶりSNS更新で「表情に違和感」「そこまで酷い状況とは」 ベッド上で「人生をやり直すこともできません」
- 動かないイモムシを助けて1年後のある日、窓の外がありえない光景に 感動サプライズが「アゲハ蝶の恩返し」と話題
- 「スカートはないわ」「常識無視の番組でびっくり」 山下リオ、登山中の服装批判巡って反論「私が叩かれているようですが」
- 「千鳥」大悟、大物美人俳優にバッグハグされた表情に注目集まる 「マジ照れのお顔ですね」「でれでれやん」
- 渋谷駅「どん兵衛」専門店が閉店 店内で見つかった書き置きに「店側の本音が漏れている」とTwitter民なごむ
- 神田愛花アナ、拡散された女子中学生時代ショットにスタジオ騒然「ヤバい」→“アネゴ感”でSNSもざわつく
- 「生きててよかった」 熊谷真実、美麗な初“袋とじ”グラビアで63歳の色気全開 真っ赤なドレス着こなす姿に「すごいプロポーション」
- 尻尾がちぎれた小さな子猫をサーキット場で保護→1年後“ムキムキ最強生物”に 驚異の成長ビフォーアフターに注目集まる
- 双子モデル・吉川ちえ、美容整形後のひたいが“コブダイ”状態へ 多額の費用要した修正手術で後悔も「傷がこんなに残りました…」
- 「犬ぐらい大きくなれよ」と願い育てた保護子猫が「まさか本当に犬ぐらいになるとは」 驚異の成長ビフォーアフターが192万表示!