2017 Fiscal Year Research-status Report
Manga Colorization by Data Driven Approaches
| Project/Area Number |
17K19963
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
相澤 清晴 東京大学, 大学院情報理工学系研究科, 教授 (20192453)
|
|---|
| Project Period (FY) |
2017-06-30 – 2019-03-31
|
| Keywords | 漫画 / 着色 / 物体検出 / 画像検索 / GAN / 深層学習 |
|---|
| Outline of Annual Research Achievements |
漫画の彩色、および関連する周辺技術について、以下の取り組みを行った。
（１）参照画像を用いたcGANに基づく着色：漫画の着色にあたり、cGAN (conditional Generative Adversarial Networks)に基づく手法を提案した。膨大な画像でトレーニングを行う通常のcGANとは異なり、提案手法では、大量の画像は使わずに、キャラクタの彩色のために、一枚の彩色されたその参照画像だけを用いることで妥当な彩色が可能であることを示した。cGANの利用に起因するボケに関しては、セグメンテーションと色補正も提案し、検証した。(arXiv掲載、MANPU2017に採択、発表)
（２）Manga109データセットの作成： 漫画画像処理で基幹的な役を果たすデータセットを構築してきた。そのアノテーションを作成中であり、データ公開への準備を進めた。
（３）深層学習を用いた高精度検出：漫画の要素であるセリフ，キャラクタ（顔，全体），コマの検出を行った。各対象要素のバウンディングボックスが大きく重複することが問題となるが、これに対して、深層学習に基づくSSD (Single Shot multibox Detectot)のネットワークを発展させたSSD-forkを提案した。既存手法を大きく上回る精度の高い検出が実現できることを示した。（IEICE大会・研究会にて発表、arXivに掲載し、国際学術誌へ投稿）
（４）深層特徴を用いたスケッチからの検索：深層特徴を用いたスケッチからの検索を提案した。漫画とその線画のそれぞれでトレーニングした二つのＣＮＮを利用し、スケッチからの漫画の検索、検索結果からの適合性フィードバックの両者に深層特徴を用いる検索となっている。エッジ特徴を用いる既存手法に比べて、はるかに高い検索精度を実現した。（JSAI大会にて発表, MANPU2017に採択、発表）
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初計画していた深層学習を用いた着色については、GANを用いた試みを進めることができた。写真、線画のペアからなる大量の画像での学習は、漫画の着色に関して必ずしも良い結果を生まないことを確認した。そこで、視点を全く変えて、１枚の画像ペアという極めて限定した学習が同一キャラクタの着色という条件に対しては、機能することを確認した。
さらに、着色課題だけでなく、漫画画像処理の基盤となる検出、検索に対して、深層学習を取り入れた方式を提案するに至った。その他、広く漫画画像処理、認識、検索の技術研究に大きく影響するデータセットを整備し、公開に向けて大きく、前進した。
|
| Strategy for Future Research Activity |
着色に関して、計画とは異なるアプローチを試みている。ＧＡＮベースの自動着色は、その着色効果がぼけた水彩のようになり、所望の結果が得られないことが多い。そのため、インタラクティブな手法の検討を進めている。マニュアルでの着色は、精細な領域抜き出しが最も重い負担であるため、わずかな手間で漫画の着色領域の切り抜きができる手法について検討を進めている。一般の画像処理では、セグメンテーションと呼ばれる課題であるが、漫画の場合には、自然画像よりはるかに高い境界の精度が求められる。State-of-the-artの手法を含めて、検証を進めている。
|
| Causes of Carryover |
少量の残額を有効に使うために次年度に繰り越した。
|
