| 研究課題/領域番号 |
18K18077
|
|---|
| 研究機関 | 筑波大学 |
|---|
研究代表者 |
飯塚 里志 筑波大学, システム情報系, 助教 (30755153)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2022-03-31
|
| キーワード | 経年変化 / 画像処理 / 深層学習 |
|---|
| 研究実績の概要 |
参照画像ベースで経年変化を再現するアプローチとは別に、物体の経年変化後のテクスチャの分布を畳み込みニューラルネットワークベースの生成モデルによって学習し、そのモデルを用いてそれぞれの物体が劣化した後のテクスチャを生成するフレームワークを検討した。予備実験として、多様性のあるテクスチャの生成実験を行い、十分な精度でテクスチャ生成が行えることを確認した。また、生成されるテクスチャの解像度を対象画像に応じて変化させるため、解像度を向上させる畳み込みニューラルネットワークモデルを構築した。このモデルでは、画像の大域的な類似関係を特徴マップに反映させるモジュールを組み込み、さらに複数の損失関数を組み合わせることで、高品質の超解像処理を実現している。この手法は複数の画像を同時に扱うこともできるため、動画などを対象とすることも可能である。
また、経年変化のテクスチャを対象物体に違和感なく合成するためには、画像調和と呼ばれる処理が有用となる．この画像調和処理では、ある物体を別の画像に合成するとき、物体と背景の色味やコントラストなどを調和させることで、合成画像を本物の画像のように変換する。この調和処理を高精度で行うため、新たな畳み込みニューラルネットワークモデルを考案した。このモデルでは、背景領域特徴と合成物体領域特徴の大域的な統計量を揃えるモジュールをネットワークの中間層に組み込むことで、画像全体を自然な色合いへと変換し、効果的な画像調和を実現できることを示した。この手法は経年変化の合成でも有用となることが期待される。この研究はコンピュータビジョンの主要国際会議の一つであるBMVC2020に採択された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
経年変化再現のためのテクスチャ生成の具体的なモデルの検討や、テクスチャ解像度向上のためのネットワークモデルの構築、高品質の画像調和の実現などは行えているが、昨今の感染症に関連する予定外の業務の増加などにより、まだプロジェクト目標を達成するには至っていないため、研究期間を延長して本プロジェクトに取り組むことにした。以上を踏まえ、上記の進捗状況とした。
|
| 今後の研究の推進方策 |
今後は検討したネットワークモデルを実際に学習させ、画像上で経年変化を再現する実験を行い、精度を確認する。その後、必要に応じて学習データやモデル構造を改良し、得られた結果をまとめて論文投稿を行う予定である。
|
| 次年度使用額が生じた理由 |
当該年度は大規模なモデルの学習を行わなかったため、サーバールーム使用料やPCの新規購入を抑えられ、次年度使用額が生じた。次年度では、必要に応じて高性能PCの購入やサーバー使用料、周辺機器の購入に充てる予定である。
|
