2020 Fiscal Year Annual Research Report
Active restoration of modern monochrome photographs with coloring and super-resolution
| Project/Area Number |
18K11497
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
梅津 信幸 茨城大学, 理工学研究科(工学野), 准教授 (30312771)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
矢内 浩文 茨城大学, 理工学研究科(工学野), 准教授 (10222358)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層学習 / オプジェクト認識 / watershed変換 / 画像特徴量 |
|---|
| Outline of Annual Research Achievements |
モノクロフィルムで撮影された近代の貴重な写真を、単なる復元を超えて「能動的」にレストアすることで、その時代を理解し現実感をもって感じとるために有効な素材として復活させることを目的とし、計画の最終年度は主として下記の項目に取り組んだ。
(1) インターネット経由による評価実験と手法の最終調整 より多数の実験参加者からのデータを得るため、レストア済みの写真を画面共有でネットワーク経由で提示して品質を評価させる実験を行った。さらに、実験結果から判明した、提案手法の不十分な点(物体領域の境界線付近の着色、および高解像度化)について改善を進めた。
(2) 深層学習(Mask R-CNN)とWatershed変換の併用による領域分割 深層学習ベースの手法では、多くの場合に物体の輪郭線が滑らかになる傾向があり、物体端部の着色が不十分になりやすいことが判明した。そこで、周囲の状況を反映した領域分割に適したWatershed変換との併用により、物体抽出の精度を向上した。
(3) 着色処理時の輝度保存 着色処理を行う場合に、もとのモノクロ写真の輝度と着色後のカラー画像の輝度が大きく変化する場合がある。着色した結果を再度モノクロ化すればオリジナルの輝度に戻るのが自然であり、その条件を満たす変換式をYUV表色系とHSV表色系で求めた。さらに、輝度を維持したまま、さまさまな色相の着色例を提示し、ユーザが直感的に着色結果を想起できるシステムを実装した。
(4) 研究成果の報告 本研究で得られた成果について、国際会議（ICSI2020）および、国内学会（日本機械学会山梨講演会）にて口頭発表を行った。
|
