|
前年度に引き続き、深層学習を応用した画像の経年変化再現手法の開発に取り組んだ。ここでは、自身の先行研究のフレームワークを応用し、畳み込みニューラルネットワークベースのアプローチで多様な経年変化テクスチャを生成し、それを入力画像の物体へ陰影を考慮して合成する手法を構築した。先行研究では、入力画像中の物体の一部が経変劣化していると仮定し、その劣化している領域のテクスチャの一部を抽出して経年劣化テクスチャとしていた。このアプローチは劣化のない物体を扱うことはできないため、適用できる画像に大きな制約があった。これに対し、提案手法では敵対的生成ネットワークを活用し、多様な経年劣化を表現するテクスチャを作り出することで、対象物体の経年変化状態に縛られることなく、写実的な経年劣化画像を生成することができる。さらに、このフレームワークは任意の経年劣化画像を参照画像として使用することで、実画像の経年変化の再現も行うことが可能になる。本研究は、深層学習を利用して1枚の画像の経年劣化シミュレーションを扱う最初の手法に位置付けられる。
今後は得られた結果について、既存手法との比較や品質のユーザテストなどの詳細な評価実験を行い、国際会議へ投稿する予定である。また，本研究で得た畳み込みニューラルネットワークに関する知見を活用し、文字画像の超解像やセマンティックセグメンテーションマップの絵画変換も実現している。本研究やこれまでの研究成果で得られた知見をもとに、複数の学会やセミナーで招待講演を行い、研究成果を積極的に外部に発信した。
|
