2023 Fiscal Year Research-status Report
Single Image Reflection Removal Using Advanced Meta-Learning
| Project/Area Number |
22K12093
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
陸 慧敏 九州工業大学, 大学院工学研究院, 准教授 (40742466)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層学習 / 映り込み除去 |
|---|
| Outline of Annual Research Achievements |
写真や動画を撮影する際，窓・ガラス等からの反射により，画像のノイズの原因となる反射光が度々発生する．この反射光は単に，画質を悪くするだけでなく，物体検出・セグメンテーション等のコンピュータビジョンタスクにも悪影響を与える．そこで，単一画像を用いた映り込み除去(Single Image Reflection Removal: SIRR)を行うことで，画像認識等のコンピュータビジョンタスクのロバスト性の向上が期待できる．SIRRでは，ルールベースと深層学習モデルを採用したモデルが主流であり，学習時に線形性を付加した合成データを用いることが多い．しかし，現実世界で学習データの真値を得ることが困難なため，学習データが少ない点は実応用において致命的な限界を露出している．そこで本研究では，メタ学習等の先端的な深層学習モデルを用いたSIRRを提案する予定だった．
今年度では基盤研究となる少量の異常データでも高精度な異常検知を可能にする手法の開発を行った.少量の異常データに対してデータ拡張を行い, 拡張したデータセットを事前学習済みのSwin Transformerで転移学習することで, 少量の異常データでも高精度な異常検知を可能にした. また, Grad-CAMを用いて画像分類の判断根拠を可視化することで, 異常部位に正しく注目できているか確かめた.本実験結果により， 汎用性の高い映り込み除去法の提案が可能となった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の核心である少量のデータに対する拡張手法およびデータ学習法の開発を成功した．本実験結果により， 汎用性の高い映り込み除去法の提案が可能となった．
|
| Strategy for Future Research Activity |
今後は高速なメタ学習モデルだけではなく，Swin Transformer等の深層学習モデルも汎化性能の高い映り込み除去法が可能となる．そこで，本研究では, 画像分類モデルにSwin Transformerを用いて， また, 少数のデータで効率よく学習させるために, ImageNetで事前学習済みの本モデルで転移学習を行うよていである.
|
