初音ミクが美空ひばりっぽく歌う「歌唱表現転写」技術ができて調教がはかどりそうOngaCREST 2014

美空ひばりのようなこぶしやビブラートをミクに“転写”できる技術があるんです。

» 2014年08月24日 11時49分 公開
[松尾公也,ねとらぼ]

 「美空ひばりのようなこぶしで初音ミクに歌ってほしい。でも本格的なパラメータチューニングは難しそう」「スピッツのグリスダウンが好きでたまらない。この曲もスピッツのような歌い方で聞いてみたい」といったことをかなえる技術「歌唱表現転写システム」が京都大学で開発されました。

 8月23日に行われた、音と映像に関するシンポジウム「OngaCREST 2014」で京大の池宮由楽さん、糸山克寿さん、吉井和佳さんが発表した「音楽音響信号中の歌声F0軌跡に対する歌唱表現の転写システム」。

 歌い方には、ビブラート、こぶし、グリッサンドなどいろいろなテクニックがあります。例えばぼかりす(VocaListener)という技術を使えば、元の歌手の音の揺らし方などの特徴をVOCALOIDに転写することができるわけですが、そのためにはモデルとなる歌唱として、その曲を全部歌う必要があります。

 この研究では、楽曲の中から歌声のF0(音の高さの推移)をとらえ、そこからビブラートの速さ、深さ、などの歌唱表現をパラメータで操作可能なレベルに落とし込み、歌唱表現データベースとしています。

 この歌唱表現を、ターゲットとなっている歌唱(人の歌声でもVOCALOIDなどの合成歌唱でも)に転写したうえで音色も補正すると、声質は初音ミクだけど歌い方は美空ひばりだよね、といった歌声が生成されます。

 デモでは、美空ひばりの「人生一路」などから抽出した歌唱表現を、初音ミクが歌う「Yesterday」に適用し、美空ひばりの深いビブラートやこぶしをミクの声で再現していました。

 声質だけでなく歌い方の特徴までモデリングする技術としては、名古屋工業大学のSinsyや、それを元にしたCeVIOが存在しますが、この技術はまた別のアプローチで、任意の部分にボーカルテクニックを転写することが可能であるというところが違います。

 また、複数の歌手の歌唱表現データベースを組み合わせて、グリスダウンは草野マサムネ、こぶしは美空ひばり、ビブラートは平井堅といったこともできるみたいです。

 そして、この歌唱表現データベースはプロのものに限らないでしょう。元歌唱が最低1曲あればいいので、例えば亡くなった人の歌い方のままに新しい曲を歌ってもらいたいというニーズに応えられるかもしれません。

 この研究が進み、一般の人たちが使えるようになる日が来ることを心から願います。

Copyright © ITmedia, Inc. All Rights Reserved.

昨日の総合アクセスTOP10
先週の総合アクセスTOP10
  1. 生後2カ月の赤ちゃんにママが話しかけると、次の瞬間かわいすぎる反応が! 「天使」「なんか泣けてきた」と癒やされた人続出
  2. 車検に出した軽トラの荷台に乗っていた生後3日の子猫、保護して育てた3年後…… 驚きの現在に大反響「天使が女神に」「目眩が」
  3. 安達祐実、成人した娘とのレアな2ショット披露 「ママには見えない!」「とても似ててびっくり」と驚きの声
  4. 兄が10歳下の妹に無償の愛を注ぎ続けて2年後…… ママも驚きの光景に「尊すぎてコメントが浮かばねぇ」「最高のにいに」
  5. “これが普通だと思っていた柴犬のお風呂の入れ方が特殊すぎた” 予想外の体勢に「今まで観てきた入浴法で1番かわいい」
  6. 「虎に翼」、新キャラの俳優に注目が集まる 「綺麗な人だね」「まさか日本のドラマでお目にかかれるとは!」
  7. 「葬送のフリーレン」ユーベルのコスプレがまるで実写版 「ジト目が完璧」と27万いいねの好評
  8. お花見でも大活躍する「2杯のドリンクを片手で持つ方法」 目からウロコの裏技に「えぇーーすごーーい」「やってみます!」
  9. 弟から出産祝いをもらったら…… 爆笑の悲劇に「めっちゃおもろ可愛いんだけどw」「笑いこらえるの無理でした」
  10. 3カ月の赤ちゃん、パパに“しーっ”とされた反応が「可愛いぁぁぁぁ」と200万再生 無邪気なお返事としぐさから幸せがあふれ出す
先月の総合アクセスTOP10
  1. フワちゃん、弟の結婚式で卑劣な行為に「席次見て名前覚えたからな」 めでたい場でのひんしゅく行為に「プライベート守ろうよ!」の声
  2. 親が「絶対たぬき」「賭けてもいい」と言い張る動物を、保護して育ててみた結果…… 驚愕の正体が230万表示「こんなん噴くわ!」
  3. 水道検針員から直筆の手紙、驚き確認すると…… メーターボックスで起きた珍事が300万再生「これはびっくり」「生命の逞しさ」
  4. フワちゃん、収録中に見えてはいけない“部位”が映る まさかの露出に「拡大しちゃったじゃん」「またか」の声
  5. スーパーで売れ残っていた半額のカニを水槽に入れてみたら…… 220万再生された涙の結末に「切なくなった」「凄く感動」
  6. 桐朋高等学校、78期卒業生の答辞に賛辞やまず 「只者ではない」「感動のあまり泣いて10回読み直した」
  7. 「これは悲劇」 ヤマザキ“春のパンまつり”シールを集めていたはずなのに…… 途中で気づいたまさかの現実
  8. 「ふざけんな」 宿泊施設に「キャンセル料金を払わなくする方法」が物議 宿泊施設「大目に見てきたが厳格化する」
  9. がん闘病中の見栄晴、20回以上の放射線治療を受け変化が…… 「痛がゆくなって来ました」
  10. 食べ終わったパイナップルの葉を土に植えたら…… 3年半後、目を疑う結果に「もう、ただただ感動です」「ちょっと泣きそう」