初音ミクが美空ひばりっぽく歌う「歌唱表現転写」技術ができて調教がはかどりそう:OngaCREST 2014
美空ひばりのようなこぶしやビブラートをミクに“転写”できる技術があるんです。
「美空ひばりのようなこぶしで初音ミクに歌ってほしい。でも本格的なパラメータチューニングは難しそう」「スピッツのグリスダウンが好きでたまらない。この曲もスピッツのような歌い方で聞いてみたい」といったことをかなえる技術「歌唱表現転写システム」が京都大学で開発されました。
8月23日に行われた、音と映像に関するシンポジウム「OngaCREST 2014」で京大の池宮由楽さん、糸山克寿さん、吉井和佳さんが発表した「音楽音響信号中の歌声F0軌跡に対する歌唱表現の転写システム」。
歌い方には、ビブラート、こぶし、グリッサンドなどいろいろなテクニックがあります。例えばぼかりす(VocaListener)という技術を使えば、元の歌手の音の揺らし方などの特徴をVOCALOIDに転写することができるわけですが、そのためにはモデルとなる歌唱として、その曲を全部歌う必要があります。
この研究では、楽曲の中から歌声のF0(音の高さの推移)をとらえ、そこからビブラートの速さ、深さ、などの歌唱表現をパラメータで操作可能なレベルに落とし込み、歌唱表現データベースとしています。
この歌唱表現を、ターゲットとなっている歌唱(人の歌声でもVOCALOIDなどの合成歌唱でも)に転写したうえで音色も補正すると、声質は初音ミクだけど歌い方は美空ひばりだよね、といった歌声が生成されます。
デモでは、美空ひばりの「人生一路」などから抽出した歌唱表現を、初音ミクが歌う「Yesterday」に適用し、美空ひばりの深いビブラートやこぶしをミクの声で再現していました。
声質だけでなく歌い方の特徴までモデリングする技術としては、名古屋工業大学のSinsyや、それを元にしたCeVIOが存在しますが、この技術はまた別のアプローチで、任意の部分にボーカルテクニックを転写することが可能であるというところが違います。
また、複数の歌手の歌唱表現データベースを組み合わせて、グリスダウンは草野マサムネ、こぶしは美空ひばり、ビブラートは平井堅といったこともできるみたいです。
そして、この歌唱表現データベースはプロのものに限らないでしょう。元歌唱が最低1曲あればいいので、例えば亡くなった人の歌い方のままに新しい曲を歌ってもらいたいというニーズに応えられるかもしれません。
この研究が進み、一般の人たちが使えるようになる日が来ることを心から願います。
関連記事
俺、歌声になってみたから、歌わせてみない? 楽譜を入力すれば歌ってくれる「Sinsy」の中の人体験
自分の知らないところで、自分の声が、知らない曲を歌っている――そんな展開を期待してます。音声合成・歌声合成の新星「CeVIO」、その謎が解けた!
無償の音声合成・歌声合成ソフト「CeVIO Creative Studio FREE」が公開された。簡単な操作でキャラのおしゃべりを制作できる期待の新星、その開発の経緯やこれからを教えてもらった。ボカロネット? どうせなら作詞もやってくんないかな、というボカロP向け自動作詞ツールを探してみた
怠惰なあなたのために。ニコニコ動画の7年間をひとまたぎするSongrium「超歴史プレーヤ」が便利すぎる
カテゴリごとの栄枯盛衰もまる分かり!「ポケット・ミク」に好きな歌詞を歌ってもらえる祭りが始まったよ
鍵盤をペンでなぞれば初音ミクの歌声で歌ってくれる「ポケット・ミク」がさらに進化。産総研が音楽体験をさらに刺激的にした「おどるSongrium」、お子ちゃま向けの「サビ抜きSongle」を期間限定で提供
4月1日だけなんてもったいない!
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
昨日の総合アクセスTOP10
【なんて読む?】今日の難読漢字「如何様」
「カイジ」25周年で『黙示録』『破戒録』『堕天録』全39巻が圧倒的無料開放!!
元“小学生ホスト”琉ちゃろ、中学入学で10年ぶりの黒髪に 母ちいめろは校則に苦言も、本人は「そんなに違和感がなくてびっくり」
筑波大学の履修ツールが年度早々長期メンテに→“新入生”が代替システムを一晩で開発し「強すぎる」と動揺広がる
自然発泡する「スーパードライ生ジョッキ缶」再利用する人がTwitterで続出→アサヒ「1回きりの利用を推奨しています」
映画館の新しいコロナ対策、パーテーション付きシートが快適だった! イオンシネマの新座席を体験リポート
インコの返事に飼い主仰天! どんなものにも元気いっぱいに返事するインコの漫画がほほえましい
「能面ハーフマスク」や「御簾フェイスシールド」 京都の匠が作る感染症対策グッズがクラウドファンディングに登場
「オニオン増減量は無料」「ナゲットには4種類の名前がある」 父と息子が語る“マクドナルドのトリビア”が思わず人に話したくなる
【まさかアレルギーじゃないと思ってた】5年前から「朝食はパン派」 意外なきっかけで気付いた小麦アレルギー
先週の総合アクセスTOP10
- 猫ちゃんの“香箱座り”かと思いきや、まさかの…… 思わぬポーズのにゃんこに爆笑する人が続出
- 「ドラクエIII」の“何でもありRTA”がついに夢の5分台に突入 時代はホットプレートの向こう側へ
- 赤ちゃん「遊ぼう〜!」犬「仕方ないワン」 赤ちゃんを優しく受け入れるワンコがかわいい
- 秋吉久美子、亡き息子の誕生日に思いをつづる 「二人は常に連なって一緒に生きている」
- 師匠「殺すつもりで来い」→ 師匠オオォォオオーーッッ! 漫画でよく見る“修行あるある”で起こった悲劇に涙が止まらない
- JTBの新バーチャルサービスが初代PSレベルで視聴者騒然 「ファイナルソードの続編?」「核戦争後の東京」
- “保護した子猫がお布団で寝るようになりました” 安心しきった猫ちゃんの表情がかわいくて癒やされる
- マリエの出川哲朗ら巡る告発にマセキ「お騒がせしているような事実はない」 芸能界の枕営業疑惑にひろゆき、武井壮らが独自見解
- 保護した子ネコに「寂しくないように」とあげたヌイグルミ お留守番後に見せた子ネコの姿に涙が出る
- “ほぼ新車”の「R32 GT-R」が発掘 お値段もヤバすぎる奇跡の1台
先月の総合アクセスTOP10
- アントニオ猪木、“リハビリ中”の現在の姿を公開 激励相次ぐ「猪木さんは不死身の漢や!」「負ける訳ないやないか」
- 「遺伝ってすごい」「足長っ!」 仲村トオルの“美人娘”ミオがデビュー、両親譲りのスタイルに驚きの声
- 眠くなった子猫が、飼い主のお布団にやってきて…… 胸キュンな行動に「まじ天使」「とけてしまう」の声
- キンタロー。1歳娘が預け先で頭部にケガ 「ショックで立ち直れない」「なんで手を離したの」と取り乱す
- 保護した子ネコに「寂しくないように」とあげたヌイグルミ お留守番後に見せた子ネコの姿に涙が出る
- 冨永愛、目元そっくりな15歳長男の写真公開 母を上回る長身に「もうかなり背は伸びたのに……」
- 「もういいだろう、楽にさせてくれよ」 アントニオ猪木、入院治療中の弱音に叱咤激励の嵐
- 山に捨てられていたワンコを保護→2年後…… “すっかり懐いたイッヌ”の表情に「爆笑した」「かっこよすぎ」の声
- 仲里依紗、息子がスカウトされて大騒ぎ「芸能人なんですけどもね?」 夫・中尾明慶と一緒にスルーされてしまう
- 「訃報」「愛猫」「手風琴」って読める? 常用漢字表に掲載されている“難読漢字”