2019 Fiscal Year Research-status Report
実世界の経年変化シミュレーションのための深層学習フレームワークの確立
| Project/Area Number |
18K18077
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
飯塚 里志 筑波大学, システム情報系, 助教 (30755153)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 経年劣化 / 画像処理 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
昨年度に引き続き、深層学習を用いて画像中の物体の経年変化を再現するアルゴリズムの開発に取り組んだ。特に、本年度はまず参照画像を用いて目的の画像変換が行えるような手法について、研究を行った。物体がどのように経年変化していくかには曖昧性があり、本研究の目的の一つが経年変化を再現することによるコンテンツ制作であるため、ユーザが画像変換の結果をコントロールできることが求められる。参照画像に合わせて出力を変化させることができれば、経年変化による物体の劣化やその復元における曖昧性を減らすことができ、さらにユーザが変換結果をコントロールすることが可能となる。参照画像を出力結果に反映させるため、畳み込みニューラルネットワークの中間層において入力画像と参照画像の類似度を大域的に計算する機構を提案した。この機構では、入力画像と参照画像の特徴マップ同士の類似度を行列計算によって算出し、類似度の高い箇所において参照特徴マップの値を入力特徴マップに反映させることができる。これにより、例えば入力画像中の物体と同じ物体を参照画像から見つけ出し、その経年変化を転写することができると考えられる。予備実験により、参照画像の色彩などを高精度で転写することが可能であることを確認した。
また、経年変化の再現のためには、画像中の物体のセグメンテーションや色彩補正、物体生成などの要素技術も重要になる。そのため、リソースを考慮してセマンティックセグメンテーションを行う手法や、画像の色彩補正に関する手法、条件付き画像生成についても研究を行い、それぞれ良好な結果を得られることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
要素技術や汎用的な手法の研究を中心に行ったため、まだ実際に経年劣化を再現するニューラルネットワークの学習はあまり行えていない。そのため、このような進捗状況とした。
|
| Strategy for Future Research Activity |
今後は、それぞれの要素技術を統合し、実際に経年変化を再現するニューラルネットワークモデルおよびその学習アルゴリズムの構築を行う。その後、得られた結果をまとめ、論文投稿を行う予定である。
|
| Causes of Carryover |
購入予定であったGPUサーバーが想定よりも安価に購入できたため、差額分は翌年度分と合わせ、サーバーの維持費や最新機器の購入に充てる予定である。
|
