鉛筆で描かれたラフスケッチをディープラーニングを用いて線画へとクリンナップする技術が早稲田大学の研究チームより発表され、話題を呼んでいます。

ラフスケッチの自動線画化

左の鉛筆描きのラフスケッチを、右の線画へと自動変換

ラフスケッチの自動線画化

自動変換された画像その2。なんかもういろいろとすごい

ラフスケッチの自動線画化

提案モデルは「すべての層が畳込み層のみから構成される多層ニューラルネットワークであり、ラフスケッチが入力されるとその線画が出力される」という

　これまでラフスケッチから線画への変換は困難とされていましたが、同論文では3種類の畳込み層から構成されるニューラルネットワークモデルを用いて複雑なラフと線画の対応を学習することで、ラフスケッチを良好に線画化することに成功したとしています。既存のツールとの比較画像も公開されており、飛躍的に精度が向上していることが分かります。

ラフスケッチの自動線画化

一番左の元画像を既存ツールの「Portrace」、「Adobe Live Trace」で変換したものと比較。すごい……。アニメを作る際には原画を動画にする行程がありますが、将来的にはこの技術を自動中割り技術と組み合わせて、原画から一足飛びに動画やトレス線が生成できるようになるかも……？

　なお、同研究チームは同じくディープラーニングを用いた「白黒写真をカラー画像へと自動変換する技術」に関する論文も発表しており（関連記事）、両論文共にCGの国際会議「SIGGRAPH 2016」に採用されたことが研究チームの石川博教授のTwitterアカウントで報告されています。

ラフスケッチの自動線画化

白黒写真をカラーへと自動変換。こっちの技術もすごい……