早稲田大学の研究チームが発表した、白黒写真をディープラーニングによりカラー画像へと自動変換する論文がとにかくすごいと話題です。

「白黒写真の自動色付け」に関する論文

研究チームが発表した手法を用いることで、100年前のモノクロ写真でも自然なカラー画像へと自動変換可能（画像は研究チームのホームページより）

「白黒写真の自動色付け」に関する論文

論文によれば、モデル構造は「低レベル特徴ネットワーク、中レベル特徴ネットワーク、大域特徴ネットワーク、色付けネットワーク」からなる4つのネットワークによって構成されるという。なるほど……

　論文では、ディープラーニングによる「画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで、画像全体の構造を考慮した自然な色付けを行うことができる」としています。100年前のモノクロ写真でも自然なカラー画像へと自動変換可能とのこと。論文内では研究チームの理論で変換されたカラー画像を、他の先端理論で変換したものと比較した画像も公開されており、その自然な着色ぶりが一目瞭然となっています。

「白黒写真の自動色付け」に関する論文

最上段が元となる白黒写真。上から2段目は2015年に香港城市大学の研究チームが発表した理論で変換した画像。上から3段目は早稲田大学研究チームの理論を、「大域特徴」を考慮せずに変換した画像。上から4段目が同研究チームの理論をフル導入して変換した画像。3段目の時点でかなり自然な着色がされているが、4段目ではるかに自然な着色となっているのが分かる（画像は論文の本文より）

本研究は雑誌「ニュートン」の公式アカウントが取り上げたことで、Twitterでも話題を呼びました

　また研究チームは同じくディープラーニングを用いた「ラフスケッチの自動線画化」に関する論文を発表。「白黒写真の自動色付け」論文と併せて、権威あるCGの国際会議「SIGGRAPH 2016」に採用されたことが研究チームの石川博教授のTwitterで報告されています。

「SIGGRAPH 2016」への採用を報告する石川教授

　いずれの論文も全文がWeb上に公開されており、誰でも読める状態となっています。本文は英語で書かれていますが、論文概要は日本語訳も公開されています。