2022 Fiscal Year Research-status Report
Single Image Reflection Removal Using Advanced Meta-Learning
| Project/Area Number |
22K12093
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
陸 慧敏 九州工業大学, 大学院工学研究院, 准教授 (40742466)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 映り込み除去 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
近年,ガラス等の透明な媒体の背後で撮影した際に, 背後にある物体等が写真に映り込むことが度々発生する. この映り込みは, 画像を劣化させるだけではなく, 物体検出・セグメンテーション等のコンピュータビジョンタスクにも影響を与える. 画像中にある反射光を分離させることは, 人間にとってはあまり難しいことではないが, コンピュータビジョンにおいては, 大変困難な問題である.
本研究では，メタ学習を用いた単一画像の映り込み除去（SIRR）を提案している．提案法は我々の過去の成果を発展させる新しいアプローチで，少量の学習データから映り込みを効率的に除去し，実環境に応用可能なSIRRを構築するには何を解決すべきかを明らかにするのが，本研究の学術的「問い」である．
今年は本提案手法を比較するため，合成画像を作成し, 学習データの枚数を増やす. また, 深層学習モデルとしてDeepLabv3+を採用した反射光除去を提案した. 広範囲コンテキストな情報を効率的に得ることができ, 反射光の除去に有効した. 反射光除去で一般的に使用される評価方法であるPNSR, SSIMを用いて提案手法の精度を測定した.
また，本研究では，様々な学習条件に基づいて実験を複数行った．変更させる学習条件は，学習データのみである．それ以外は変化させずに，Model-Agnostic Meta-Learning(MAML)を使用した提案手法とMAMLを使用していない従来手法との対照実験を行った．実験を通して，従来手法より良好な結果を示したため，一定の成果が得られたことが確認できた．メタ学習はクラス分類・回帰問題等で成果を残しているが，SIRR分野では未知の領域だった．しかし，実験結果より，MAMLを使用していない従来手法や他論文の手法より，本論文の提案手法が優れた結果を残した．故に，メタ学習がSIRRに有効なことが確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年は, 単一画像反射光除去(SIRR)の深層学習モデルとして, DeepLabv3+を提案した. また, 反射形成モデルを提案し, 合成画像を生成した.SIRR分野でよく用いられる4つのデータセットを用いて実験を行い, 提案手法の比較を行った. 実験を通して, 良好な結果を示すことができた. また, 合成データで用いる反射形成モデルの違いで, 結果が左右されることを確認できた.
|
| Strategy for Future Research Activity |
今後の課題としては，提案手法の更なる比較・検討とリアルタイム性の検討である．その手段としては，自作データセット・合成データセットを用いることが考えられる．
また，本研究の結果を他分野への展開，例えば，異常検知等の応用研究を実施することを予定される．
|
