• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Single Image Reflection Removal Using Advanced Meta-Learning

Research Project

Project/Area Number 22K12093
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionKyushu Institute of Technology

Principal Investigator

陸 慧敏  九州工業大学, 大学院工学研究院, 准教授 (40742466)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords深層学習 / 映り込み除去 / 人工知能 / メタ学習 / 画像処理
Outline of Research at the Start

写真や動画を撮影する際,窓・ガラス等からの反射により,画像のノイズの原因となる反射光が度々発生する.この反射光は単に,画質を悪くするだけでなく,物体検出・セグメンテーション等のコンピュータビジョンタスクにも悪影響を与える.そこで,単一画像を用いた映り込み除去(Single Image Reflection Removal: SIRR)を行うことで,画像認識等のコンピュータビジョンタスクのロバスト性の向上が期待できる.本研究では,少量の学習データから映り込みを効率的に除去し,実環境に応用可能なSIRRを構築するには何を解決すべきかを明らかにするのが,本研究の学術的な新規性である.

Outline of Annual Research Achievements

写真や動画を撮影する際,窓・ガラス等からの反射により,画像のノイズの原因となる反射光が度々発生する.この反射光は単に,画質を悪くするだけでなく,物体検出・セグメンテーション等のコンピュータビジョンタスクにも悪影響を与える.そこで,単一画像を用いた映り込み除去(Single Image Reflection Removal: SIRR)を行うことで,画像認識等のコンピュータビジョンタスクのロバスト性の向上が期待できる.SIRRでは,ルールベースと深層学習モデルを採用したモデルが主流であり,学習時に線形性を付加した合成データを用いることが多い.しかし,現実世界で学習データの真値を得ることが困難なため,学習データが少ない点は実応用において致命的な限界を露出している.そこで本研究では,メタ学習等の先端的な深層学習モデルを用いたSIRRを提案する予定だった.
今年度では基盤研究となる少量の異常データでも高精度な異常検知を可能にする手法の開発を行った.少量の異常データに対してデータ拡張を行い, 拡張したデータセットを事前学習済みのSwin Transformerで転移学習することで, 少量の異常データでも高精度な異常検知を可能にした. また, Grad-CAMを用いて画像分類の判断根拠を可視化することで, 異常部位に正しく注目できているか確かめた.本実験結果により, 汎用性の高い映り込み除去法の提案が可能となった.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の核心である少量のデータに対する拡張手法およびデータ学習法の開発を成功した.本実験結果により, 汎用性の高い映り込み除去法の提案が可能となった.

Strategy for Future Research Activity

今後は高速なメタ学習モデルだけではなく,Swin Transformer等の深層学習モデルも汎化性能の高い映り込み除去法が可能となる.そこで,本研究では, 画像分類モデルにSwin Transformerを用いて, また, 少数のデータで効率よく学習させるために, ImageNetで事前学習済みの本モデルで転移学習を行うよていである.

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (7 results)

All 2024 2023 2022

All Journal Article (6 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 6 results) Presentation (1 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Single Image Reflection Removal Using DeepLabv3+2024

    • Author(s)
      Keisuke Hamamoto, Naoya Hideshima, Huimin Lu & Seiichi Serikawa
    • Journal Title

      Communications in Computer and Information Science

      Volume: 1998 Pages: 181-188

    • DOI

      10.1007/978-981-99-9109-9_18

    • ISBN
      9789819991082, 9789819991099
    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Lightweight real-time semantic segmentation network with efficient transformer and CNN2023

    • Author(s)
      Guoan Xu, Juncheng Li, Guangwei Gao, Huimin Lu, Jian Yang, Dong Yue
    • Journal Title

      IEEE Transactions on Intelligent Transportation Systems

      Volume: 24 Issue: 12 Pages: 15897-15906

    • DOI

      10.1109/tits.2023.3248089

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Introduction to meta learning for internet of multimedia things2023

    • Author(s)
      Huimin Lu, Yichuan Wang, Yujie Li
    • Journal Title

      International Journal of Machine Learning and Cybernetics

      Volume: 14 Issue: 2 Pages: 361-362

    • DOI

      10.1007/s13042-022-01700-w

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Recognition of sidewalk environment based on WideSegPlus2022

    • Author(s)
      Yuki Sakai、Lu Huimin、Li Yujie、Kamiya Tohru
    • Journal Title

      Proceedings Volume 12508, International Symposium on Artificial Intelligence and Robotics 2022

      Volume: 1250802 Pages: 1-8

    • DOI

      10.1117/12.2655680

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Joint Semantic-Instance Segmentation Method for Intelligent Transportation System2022

    • Author(s)
      Li Yujie、Cai Jintong、Zhou Quan、Lu Huimin
    • Journal Title

      IEEE Transactions on Intelligent Transportation Systems

      Volume: 99 Issue: 12 Pages: 1-8

    • DOI

      10.1109/tits.2022.3190369

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] 3D object detection using improved PointRCNN2022

    • Author(s)
      Fukitani Kazuki、Shin Ishiyama、Lu Huimin、Yang Shuo、Kamiya Tohru、Nakatoh Yoshihisa、Serikawa Seiichi
    • Journal Title

      Cognitive Robotics

      Volume: 2 Pages: 242-254

    • DOI

      10.1016/j.cogr.2022.12.001

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Presentation] 調整レスなビンピッキング自動化のための 3 次元物体認識2022

    • Author(s)
      石山信, 陸慧敏
    • Organizer
      研究報告オーディオビジュアル複合情報処理
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi