• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

コヒーレンスの伝搬に基づくディープラーニングによる散乱媒質のイメージング

Research Project

Project/Area Number 23K21085
Project/Area Number (Other) 21H01849 (2021-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2021-2023)
Section一般
Review Section Basic Section 30020:Optical engineering and photon science-related
Research InstitutionRitsumeikan University

Principal Investigator

渡邉 歴  立命館大学, 理工学部, 教授 (90314377)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2024: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2023: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2022: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2021: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Keywords散乱イメージング / 非視線方向イメージング / コヒーレンス / 光伝搬 / ディープラーニング / メモリ効果 / 機械学習 / スペックル
Outline of Research at the Start

拡散または散乱媒体を介した光学イメージングは、 生体内部の可視化、自動運転、暗号化など多くの分野に関わる問題として注目されている。ディープラーニング(深層学習)を用いてスペックル画像と元画像の統計特性を学習し、画像の再構成を行うことが可能となってきているが、光学的なシステムをブラックボックスとして取り扱っており、物理的なメカニズムは検討されていない。本研究では、光の回折と伝搬、そして時間・空間コヒーレンスを考慮した光伝搬計算に基づくディープラーニングアルゴリズムを構築し、スペックル形成のメカニズム解明を行い、散乱媒質の奥や直接目に見えない曲がり角の向こう側にある物体の画像を再構成する。

Outline of Annual Research Achievements

散乱媒体あるいは拡散媒体は、光の散乱により画像の品質を著しく低下させるため、光を用いて散乱体の奥の物体や曲がり角の奥など直接見えないところにある物体の可視化は難しいとされてきた。ディープラーニング(深層学習)を用いてスペックル画像と元画像の統計特性を学習し、画像の再構成を行うことが可能となってきている。本研究では、物理的なメカニズムを明確にすべく、光コヒーレンス理論・光伝搬理論を基盤とし、光の伝搬を考慮するアルゴリズムを構築する。また、そのアルゴリズムに基づくディープラーニングにより、画像を再構成するとともに、スペックル画像と元画像の統計特性を明らかにする。
分光イメージングでは、光源にLEDを用いて、モノクロカメラで撮影されたスペックル画像より中心波長が変化するカラー物体の画像再構成と波長推定を実現した結果を学術論文誌に発表した。
ディープラーニングは敵対的サンプルやデータセットに対する攻撃であるデータ汚染攻撃により脆弱性を示すため、光源にレーザーとLEDを用い光源による脆弱性の影響を調査した。また、結像光学系とレンズレス光学系の2種類の光学系を用いて検討した。レンズレス光学系のほうがデータ汚染攻撃に対してのロバスト性が高いことがわかった。
散乱媒体を移動させた場合のロバスト性に影響する要因について引き続き検討した。拡散板を光軸に対して垂直な方向と平行方向に移動させてスペックル画像を取得した。拡散板が光軸と垂直方向に移動する場合、学習済みの条件では直接法の方が再構成精度は高いが、未学習の条件においては自己相関法の方が直接法より再構成精度が高い結果となった。
マルチモードファイバーを介した散乱イメージングにおいて、光源のコヒーレンスの違いが再構成精度に与える影響についてレーザーとLEDを用いて検討した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ディープラーニングを用いた散乱イメージングにおいて、すりガラスを散乱媒質として用い、光源としてレーザーならびにLEDを用い、光源の違いによる再構成精度を構造的類似度 (SSIM) を用いて評価した。システムのロバスト性と脆弱性に関して、光源以外に、光学系や散乱条件を変化させ、知見を得ている。
散乱媒質としてマルチモードファイバーを用いた実験を実施し、光源により再構成精度に差は生じず、光源のコヒーレンスが再構成精度に影響を与えないことがわかった。

Strategy for Future Research Activity

コヒーレンスと再構成精度の関係に関して、時間、空間、スペクトルコヒーレンスと再構成精度の関係を引き続き調査する。さらに、手書き文字以外の複雑な物体の再構成、様々な波長での再構成ならびにマルチスペクトル画像の再構成を進める。環境光に対する影響、広帯域光源を用いた場合の影響、微弱光や動的散乱体での再構成精度、ディスプレイ等を用いたカラーイメージングでの再構成を実施し、非視線方向イメージングに展開する。また、他の散乱イメージングと比較調査する。

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (22 results)

All 2024 2023 2022 2021

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (19 results) (of which Int'l Joint Research: 3 results,  Invited: 2 results)

  • [Journal Article] Central wavelength estimation in spectral imaging behind a diffuser via deep learning2023

    • Author(s)
      Takumi Tsukada, Wataru Watanabe
    • Journal Title

      Applied Optics

      Volume: 62 Issue: 16 Pages: 4143-4149

    • DOI

      10.1364/ao.486600

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Investigation of image plane for image reconstruction of objects through diffusers via deep learning2022

    • Author(s)
      Takumi Tsukada, Wataru Watanabe
    • Journal Title

      J. Biomed. Opt.

      Volume: 27 Issue: 05 Pages: 056001-056001

    • DOI

      10.1117/1.jbo.27.5.056001

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Tracking moving targets with wide depth of field behind a scattering medium using deep learning2022

    • Author(s)
      Takumi Tsukada and Wataru Watanabe
    • Journal Title

      Jpn. J. Appl. Phys.

      Volume: 61 Issue: 7 Pages: 072003-072003

    • DOI

      10.35848/1347-4065/ac7622

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] マルチモードファイバーを介した深層学習に基づくイメージングにおける空間コヒーレンスの影響2024

    • Author(s)
      中田 悠、渡邉 歴
    • Organizer
      レーザー学会学術講演会第44回年次大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] ディープラーニングを用いた散乱イメージングにおける再構成手法とそのロバスト性2024

    • Author(s)
      山本 翔、新宮 大貴、中田 悠、渡邉 歴
    • Organizer
      レーザー学会学術講演会第44回年次大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Deep learning based spectral imaging objects behind a diffuser using a monochrome camera2023

    • Author(s)
      Wataru Watanabe, Takumi Tsukada
    • Organizer
      The 12th Asia-Pacific Laser Symposium (APLS)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ディープラーニングに基づく散乱イメージングにおけるデータ汚染攻撃でのトリガーサイズの影響2023

    • Author(s)
      新宮 大貴、渡邉 歴
    • Organizer
      2023年第84回応用物理学会秋季学術講演会
    • Related Report
      2023 Annual Research Report
  • [Presentation] スペックル情報を活用した分光イメージング2023

    • Author(s)
      渡邉 歴
    • Organizer
      第17回新画像システム・情報フォトニクス研究討論会
    • Related Report
      2023 Annual Research Report
  • [Presentation] ディープラーニングに基づくレンズレス散乱イメージングにおける脆弱性の検討2023

    • Author(s)
      新宮 大貴、渡邉 歴
    • Organizer
      OPJ2023 - Optics & Photonics Japan 2023
    • Related Report
      2023 Annual Research Report
  • [Presentation] スペックル計測によるすりガラスの奥にある物体の可視化2023

    • Author(s)
      渡邉 歴
    • Organizer
      レーザー学会学術講演会第43回年次大会
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] ディープラーニングに基づくマルチスペクトラル散乱イメージングに対する再構成手法の検討2023

    • Author(s)
      塚田 拓海,渡邉 歴
    • Organizer
      第70回応用物理学会春季学術講演会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 光学手法を用いた散乱イメージング2022

    • Author(s)
      渡邉 歴
    • Organizer
      第16回新画像システム・情報フォトニクス研究討論会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 拡散板を介したカラー物体のモノクロカメラとディープラーニングを用いた画像再構成2022

    • Author(s)
      塚田 拓海,渡邉 歴
    • Organizer
      第83回応用物理学会秋季学術講演会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ディープラーニングを用いたマルチスペクトラル散乱イメージングとシングルショット波長推定2022

    • Author(s)
      塚田拓海,渡邉歴
    • Organizer
      OPJ2022 - Optics & Photonics Japan 2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] 低ビット深度スペックルパターンを用いた深層学習散乱イメージング2022

    • Author(s)
      中田 悠,塚田 拓海,渡邉 歴
    • Organizer
      OPJ2022 - Optics & Photonics Japan 2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] Data poisoning attack effects on imaging of handwritten digits through scattering media using deep learning2022

    • Author(s)
      Koki Oishi and Wataru Watanabe
    • Organizer
      Biomedical Imaging and Sensing Conference (BISC) 2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] Image reconstruction of objects through diffusers with different diffusion angles2021

    • Author(s)
      Takumi Tsukada, Taichi Nishijima, and Wataru Watanabe
    • Organizer
      SPIE Technologies and Applications of Structured Light, Biomedical Imaging and Sensing Conference, BISC 2021
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ディープラーニングを用いた散乱イメージングにおける被写界深度拡大2021

    • Author(s)
      塚田 拓海、渡邉 歴
    • Organizer
      2021年第82回応用物理学会秋季学術講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] ディープラーニングによる拡散板を介したQRコードの散乱イメージング2021

    • Author(s)
      大石 皓己、西島 太一、渡邉 歴
    • Organizer
      2021年第82回応用物理学会秋季学術講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 拡散板を介した動的物体のディープラーニングによる画像再構成2021

    • Author(s)
      塚田 拓海、渡邉 歴
    • Organizer
      Optics & Photonics Japan(OPJ)2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] ディープラーニングを用いたQRコードの散乱イメージングにおける脆弱性の検討2021

    • Author(s)
      大石 皓己、渡邉 歴
    • Organizer
      Optics & Photonics Japan(OPJ)2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] Deep learning-based imaging through scattering media2021

    • Author(s)
      Wataru Watanabe
    • Organizer
      The 5th IEEE International conference on Distributed Computing, VLSI, Electrical Circuits and Robotics (2021 IEEE DISCOVER)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research / Invited

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi