2019 Fiscal Year Research-status Report
Active restoration of modern monochrome photographs with coloring and super-resolution
| Project/Area Number |
18K11497
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
梅津 信幸 茨城大学, 理工学研究科(工学野), 准教授 (30312771)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
矢内 浩文 茨城大学, 理工学研究科(工学野), 准教授 (10222358)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | オブジェクト認識 / 深層学習 / 画像特徴量 |
|---|
| Outline of Annual Research Achievements |
モノクロフィルムで撮影された近代の貴重な写真を、単なる復元を超えて「能動的」にレストアすることで、その時代を理解し現実感をもって感じとるために有効な素材として復活させることを目的とし、計画2年目は主として下記の項目に取り組んだ。
(1) モノクロ写真に特化した高解像度化手法の開発
入手可能なモノクロ写真の多くは1000×1000画素程度なのに対し、現在の典型的なデジタルカメラは4000×3000画素以上がカラーで記録できる。このようにデータ量にして10~20倍の差を埋めることは本質的に推定問題となる。そこで、モノクロ時代の写真の感光剤の特性を考慮するとともに、同一の場所・構図で撮影した新旧の写真の比較から、画像の各領域単位でマッチングし現在の高解像度な色データを割り当てる推定処理を開発した。幸い、茨城県各地の過去と現在を対比した写真集(写真集 日立・高萩・北茨城の今昔, 郷土出版社, 2008)により約200の実例データが存在するため、これらの特徴を機械的に学習させた。精度は漸進的に高まっているが、都市の過去と現在を対比させた同様の写真集を用いることにより、さらに数百枚を追加学習が必要である。
(2) 対面によるユーザ評価実験 → 計画修正
第一段階として、20~30名の参加者に対して対面で実験を行う予定であったが、年度後半よりコロナウイルス感染症対策としてオンラインでの実施に計画を変更した。実験参加者の表情や明示的でない感想などがオンライン実験では得られにくいため、その段階のみビデオ会議方式による対話を用いるなど、実験設計についてさらに改善が必要である。今後は、評価対象を主に前年度までに構築した着色手法の結果とし、その知見を3年目のより大規模実験に反映する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画していた2項目はほぼ順調な進展が見られているが、対面によるユーザ評価実験については、コロナ感染症対策のためにオンラインでの実施となり実施計画の修正を行ったため、区分としては(2)おおむね順調、と判断した。
|
| Strategy for Future Research Activity |
1. インターネット経由による評価実験と手法の最終調整(分担者と共同)として、より多数の被験者からのデータを得るため、レストア済みの写真を専用のウェブサイトに表示して品質を評価させる実験を行う。
2. 報告書の作成および成果公開として、年度末の報告書の作成に先立ち、研究成果を英文論文(Journal of Computational Design and Engineering, 芸術科学会論文誌等を予定)および国際会議論文として投稿する。
3. 博物館および市の関連施設での展示・公開(分担者と共同)に向けて、モノクロ写真のレストア結果を日立市郷土博物館で展示するとともに、市役所の市民活動課と連携し、市内の施設でそれぞれに関連の深いレストア済み写真を展示して市民からフィードバックを得る(アンケート記入、インタビューなど)。
|
| Causes of Carryover |
生成・着色した画像の対面での評価実験で用いる予定であったiMac, 4Kディスプレイ等の物品について、対面でのユーザ評価実験を延期することに伴い購入時期を次年度に変更して対応したため。
|
