Teishoin's Digital Photo Log

白黒写真から色を蘇らせたい。
そんな思いを現実化させる技術が、早稲田大学・石川博教授（基幹理工学部 情報理工学科 / 大学院 基幹理工学研究科 情報理工学専攻）の研究チームから発表されています。

---

ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け

飯塚里志*  シモセラ エドガー*  石川博    (*equal contribution) SIGGRAPH 2016

Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa.
"Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification".
ACM Transaction on Graphics (Proc. of SIGGRAPH), 35(4):110, 2016.

概要：
本研究では，ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する．提案手法では，画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで，画像全体の構造を考慮した自然な色付けを行うことができる．提案モデルにおいて，大域特徴は画像全体から抽出され，局所特徴はより小さな画像領域から計算される．これらの特徴は“結合レイヤ”によって一つに統合され，色付けネットワークに入力される．このモデル構造は入力画像のサイズが固定されず，どんなサイズの画像でも入力として用いることができる．また，モデルの学習のために既存の大規模な画像分類のデータセットを利用し，それぞれの画像の色とラベルを同時に学習に用いることで，効果的に大域特徴を学習できるようにしている．提案手法により，100年前の白黒写真など，様々な画像において自然な色付けを実現できる．色付けの結果はユーザテストによって評価し，約90%の色付け結果が自然であるという回答が得られた．

---

ディープネットワークを用いて、白黒画像をカラー画像に自動変換するエンジンがこちらで公開されておりますので、早速試してみましょう。

まずは、中学生の頃、旅行で行った車山高原で撮影した白黒写真。
この頃は、白黒のフィルムを自分で現像したりしていました。
→
おお！
緑一面の牧草と青空の情景が見事に再現されています。
このような風景は得意のようです。
変換時間はわずか1秒。

次に、同じく中学生の時に撮ったブルートレイン。

機関車の色、ヘッドマークなど、実に忠実にカラー化されていることが素晴らしい。

京浜急行も

ちゃんと赤く再現されています。
ただ、桜は薄桃色ではなく、黄色くなってしまっていますね。
あいまいな情報はセピア調でごまかすということが行われているのでしょうか。

桜木町から山下公園まで記念運行されたSL。

機関車、客車の色！

市営地下鉄上永谷駅開業当時、丸山台開発の様子。

創立100年を超える港南区の小学校に残されている古写真をいくつかピックアップしてカラー化してみました。
得意な写真とそうでない写真があることが分かりますが、色がつくと当時の光景がよりリアルに蘇ってきます。

人工知能を用いた画像処理の分野は、どんどん進化していきます。
より精度が高まっていくでしょうし、動画もリアルタイムに処理できるようにもなるでしょう。

今後の技術進展に期待します。