Intelligent scatter and fluctuation imaging

• Project Area: Comprehensive understanding of scattering and fluctuated fields and science of clairvoyance
• Project/Area Number: 20H05890
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (II)
• Research Institution: Osaka University
• Principal Investigator: 谷田 純 大阪大学, 大学院情報科学研究科, 特任教授 (00183070)
• Co-Investigator(Kenkyū-buntansha): 中村 友哉 大阪大学, 産業科学研究所, 准教授 (70756709) ; 西崎 陽平 地方独立行政法人大阪産業技術研究所, 森之宮センター, 主任研究員 (40768933)
• Project Period (FY): 2020-11-19 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥149,500,000 (Direct Cost: ¥115,000,000、Indirect Cost: ¥34,500,000); Fiscal Year 2024: ¥18,850,000 (Direct Cost: ¥14,500,000、Indirect Cost: ¥4,350,000); Fiscal Year 2023: ¥24,440,000 (Direct Cost: ¥18,800,000、Indirect Cost: ¥5,640,000); Fiscal Year 2022: ¥18,460,000 (Direct Cost: ¥14,200,000、Indirect Cost: ¥4,260,000); Fiscal Year 2021: ¥16,640,000 (Direct Cost: ¥12,800,000、Indirect Cost: ¥3,840,000); Fiscal Year 2020: ¥71,110,000 (Direct Cost: ¥54,700,000、Indirect Cost: ¥16,410,000)
• Keywords: 散乱透視学 / 散乱・揺らぎ場 / 機械学習 / スペックル / ディジタルツイン / デジタルツイン

Outline of Research at the Start

本研究では、機械学習やスペックル相関イメージングなど情報工学に基づく手法を活用して、簡素な光学系による非侵襲な散乱イメージングを開発する。敵対的生成ネットワークなど最新の深層学習モデルによる高機能化と、スペックル相関イメージングの多次元化や視野拡大に取り組む。一方、時間変化する散乱媒質を介したイメージング技術の開発も進める。高時間分解能計測により、計測散乱場の逆関数を高速更新する手法、リカレントニューラルネットワークにより散乱媒質の時間変化を推定する手法などの研究を進める。さらに、ディジタルツインの概念により、情報工学に基づいた散乱・揺らぎ場の透視化に関する系統的学理の形成をめざす。

Outline of Annual Research Achievements

機械学習を用いた散乱イメージングにおいて、敵対的生成ネットワーク(GAN)などの教師なし学習や半教師あり学習を活用し、時間コストや侵襲性の最小化と推定性能の最大化の両立に取り組む。本年度は、散乱体を通したイメージングに向け、光学メモリー効果を利用した効率的な学習モデル構築に取り組んだ。光学メモリー効果が発現される環境で取得された散乱画像であれば情報科学分野で広く利用されているデータ拡張技術が適用できることに着目した。実証実験として、実験で得られた少数の散乱取得画像を計算機上でデータ拡張し、高精度な物体識別に取り組んだ。
簡素な光学系で散乱体への侵襲を伴うことのないスペックル相関イメージングの高度化に関し、これまでの研究により3次元への拡張および波長次元への拡張、視野の拡大に成功してきた。さらに、スパース性の制約を課すことにより、視野の限定を緩和することが可能となった。本年度は、教師なし機械学習を利用してスパース性を緩和しながらも視野限定の緩和を図る。また、動的散乱体背後の複素振幅物体の再構成に取り組んだ。
散乱イメージングの応用に向けた取り組みの一環として、マルチモードファイバによるチャンバ内レーザー核融合反応の遠隔観察のための、実験光学系の構築を行った。シンプルな物体を用いた、基礎的な実証データを得ることが出来た。
デジタルツイン計測技術では、数理モデルに基づいた対象のふるまいを活用したデータ駆動を実現した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

散乱イメージングに向けた光学メモリー効果を利用した効率的な学習モデル構築について、数値実験および光学実験にて実証し、論文化を完了した。本研究は国際会議等にて報告予定である。また、符号化開口を利用したコヒーレント光による散乱体背後の複素振幅物体のシングルショット再構成および単一の空間光変調器の両面を使用した高度波面制御手法に関して論文化を完了した。
波面制御の視野拡大を図ったインコヒーレント光による光学素子設計に関して数値実験および光学実験にて実証し、論文化を完了した。さらに、インコヒーレント光を用いたゼルニケ位相差顕微鏡の定量計測化に関して数値実験および光学実験にて実証し、論文化を完了した。また、教師なし機械学習を利用した、スパース性および視野限定の緩和を図ったスペックル相関イメージング、および動的散乱体背後の複素振幅物体の可視化に関して、光学実験にて実証し、論文化を完了した。
マルチモードファイバイメージングに関しても、基礎的な実証データを得ることが出来た。
サイバーフィジカルシステムを活用した計測技術手法では、実験データと数理モデルをもとに観察困難な対象のデジタルツインを構築できた。

Strategy for Future Research Activity

我々の研究グループではこれまでの研究により、散乱成分の低減や除去等を必要としない、スペックル画像による機械学習を用いた分類器の開発や光学メモリー効果を利用した効率的な分類器の構築に成功してきた。本年度は天体観測や生態観察で重要となる波面計測の更なる高速化に取り組むべく、我々が提案実証してきた機械学習を用いた波面計測手法に新規プリコンディショニング手法を導入し、散乱イメージングの高度化を実現する。
スペックル相関イメージングに関して、静的および動的な散乱現象下において次元拡張や視野およびスパース性の緩和などの高機能化などに関して進める。
マルチモードファイバイメージングに関しては、物理系の近似モデリングや演算系への正則化の適用などのアプローチに基づく、より安定かつ高精度なイメージングの実装を目指す。
デジタルツインの構築技術を散乱イメージングへと応用し、散乱環境下における対象推定をめざす。

Research Products

• [Journal Article] Speckle-learning-based object recognition using optical memory effect (2024)
  • Author(s): Yohei Nishizaki, Katsuhisa Kitaguchi, Mamoru Saito, Jun Tanida
  • Journal Title: Optical Review Volume: － Issue: 2 Pages: 165-169
  • DOI: 10.1007/s10043-024-00868-6
  • Peer Reviewed
• [Journal Article] Single-image phase retrieval for off-the-shelf Zernike phase-contrast microscopes (2024)
  • Author(s): Kurata Rikimaru、Toda Keiichiro、Ishigane Genki、Naruse Makoto、Horisaki Ryoichi、Ideguchi Takuro
  • Journal Title: Optics Express Volume: 32 Issue: 2 Pages: 2202-2211
  • DOI: 10.1364/oe.509877
  • Peer Reviewed / Open Access
• [Journal Article] Double-sided computer-generated holography (2023)
  • Author(s): Suda Ryutaro、Nishizaki Yohei、Naruse Makoto、Horisaki Ryoichi
  • Journal Title: Optics Letters Volume: 48 Issue: 8 Pages: 2102-2105
  • DOI: 10.1364/ol.486397
• [Journal Article] Single-shot blind deconvolution in coherent diffraction imaging with coded (2023)
  • Author(s): Hideyuki Muneta, Ryoichi Horisaki , Yohei Nishizaki, Makoto Naruse, Jun Tanida
  • Journal Title: Optical Review Volume: 30 Issue: 5 Pages: 509-515
  • DOI: 10.1007/s10043-023-00835-7
  • Peer Reviewed / Open Access
• [Journal Article] Extrapolated speckle-correlation imaging with an untrained deep neural network (2023)
  • Author(s): Mashiko Ryosuke、Tanida Jun、Naruse Makoto、Horisaki Ryoichi
  • Journal Title: Applied Optics Volume: 62 Issue: 31 Pages: 8327-8333
  • DOI: 10.1364/ao.496924
  • Peer Reviewed
• [Journal Article] Incoherent diffractive optical elements for extendable field-of-view imaging (2023)
  • Author(s): Igarashi Takuto、Naruse Makoto、Horisaki Ryoichi
  • Journal Title: Optics Express Volume: 31 Issue: 19 Pages: 31369-31382
  • DOI: 10.1364/oe.499866
  • Peer Reviewed / Open Access
• [Journal Article] Incoherent optical phase conjugation (2022)
  • Author(s): Horisaki Ryoichi、Ehira Kunihiko、Nishizaki Yohei、Naruse Makoto、Tanida Jun
  • Journal Title: Applied Optics Volume: 61 Issue: 18 Pages: 5532-5537
  • DOI: 10.1364/ao.461136
  • Peer Reviewed
• [Journal Article] Single-shot blind deconvolution with coded aperture (2022)
  • Author(s): Muneta Hideyuki、Horisaki Ryoichi、Nishizaki Yohei、Naruse Makoto、Tanida Jun
  • Journal Title: Applied Optics Volume: 61 Issue: 22 Pages: 6408-6413
  • DOI: 10.1364/ao.460763
  • Peer Reviewed
• [Journal Article] Coherent diffraction imaging through shift-invariant scattering (2022)
  • Author(s): Horisaki Ryoichi、Yamazaki Kaoru、Nishizaki Yohei、Naruse Makoto、Tanida Jun
  • Journal Title: Optical Review Volume: 29 Issue: 6 Pages: 504-509
  • DOI: 10.1007/s10043-022-00769-6
  • Peer Reviewed
• [Journal Article] Extrapolated Speckle-Correlation Imaging (2022)
  • Author(s): Endo Yuto、Tanida Jun、Naruse Makoto、Horisaki Ryoichi
  • Journal Title: Intelligent Computing Volume: 2022 Pages: 1-8
  • DOI: 10.34133/2022/9787098
  • Peer Reviewed / Open Access
• [Journal Article] Compressive propagation with coherence (2022)
  • Author(s): Horisaki Ryoichi、Aoki Takuro、Nishizaki Yohei、Rohm Andre、Chauvet Nicolas、Tanida Jun、Naruse Makoto
  • Journal Title: Optics Letters Volume: 47 Issue: 3 Pages: 613-616
  • DOI: 10.1364/ol.444772
  • Peer Reviewed / Open Access
• [Journal Article] Digital-optical computational imaging capable of end-point logic operations (2021)
  • Author(s): Tanida Jun、Tsuchida Karin、Watanabe Ryo
  • Journal Title: Optics Express Volume: 30 Issue: 1 Pages: 210-221
  • DOI: 10.1364/oe.442985
  • Peer Reviewed / Open Access
• [Journal Article] Spectral speckle-correlation imaging (2021)
  • Author(s): Ehira Kunihiko、Horisaki Ryoichi、Nishizaki Yohei、Naruse Makoto、Tanida Jun
  • Journal Title: Applied Optics Volume: 60 Issue: 8 Pages: 2388-2392
  • DOI: 10.1364/ao.418361
  • Peer Reviewed
• [Journal Article] Three-dimensional deeply generated holography [Invited] (2021)
  • Author(s): Horisaki Ryoichi、Nishizaki Yohei、Kitaguchi Katsuhisa、Saito Mamoru、Tanida Jun
  • Journal Title: Applied Optics Volume: 60 Issue: 4 Pages: A323-A323
  • DOI: 10.1364/ao.404151
  • Peer Reviewed
• [Presentation] Computational Frameworks for Advanced Imaging Technology (2024)
  • Author(s): Jun Tanida
  • Organizer: Taiwan Japan Bilateral Symposium on Photonics 2024 (TJBS2024)
  • Int'l Joint Research / Invited
• [Presentation] Diversity of Optical Computing (2024)
  • Author(s): Jun Tanida
  • Organizer: The First International Symposium on Photonic Computing
  • Int'l Joint Research / Invited
• [Presentation] 自然現象から情報処理へ (2023)
  • Author(s): 谷田 純
  • Organizer: 福知山公立大学 第１回数理・データサイエンスセンター研究会
  • Invited
• [Presentation] Optical computing and information photonics -Past, present, and future- (2023)
  • Author(s): Jun Tanida
  • Organizer: Information Photonics 2023
  • Int'l Joint Research / Invited
• [Presentation] 異分野融合と光 (2023)
  • Author(s): 谷田 純
  • Organizer: 2023年度第1回医療用トランスデューサデザイン研究会
• [Presentation] 異分野融合の光学 (2023)
  • Author(s): 谷田 純
  • Organizer: 日本光学会 情報フォトニクス研究グループ秋合宿
  • Invited
• [Presentation] 計算イメージングの基礎と新展開 (2023)
  • Author(s): 谷田 純
  • Organizer: レーザー学会 可視光半導体レーザー応用コンソーシアム 新規アプリ専門委員会
  • Invited
• [Presentation] Computational frameworks for advanced imaging and holography (2023)
  • Author(s): Jun Tanida, Ryoichi Horisaki
  • Organizer: International Workshop on Holography and Related Technologies (IWH2022&2023)
  • Int'l Joint Research / Invited
• [Presentation] Computer-generated holography for double-sided image reproduction (2023)
  • Author(s): Ryutaro Suda, Yohei Nishizaki, Makoto Naruse, Ryoichi Horisaki
  • Organizer: 第84回応用物理学会秋季学術講演会
  • Int'l Joint Research
• [Presentation] ゼルニケ型位相差顕微鏡における位相回復アルゴリズム (2023)
  • Author(s): 藏田 力丸, 戸田 圭一郎, 石金 元気, 成瀬 誠, 井手口 拓郎, 堀﨑 遼一
  • Organizer: 第84回応用物理学会秋季学術講演会
• [Presentation] A phase retrieval algorithm for Zernike phase-contrast microscopy (2023)
  • Author(s): Rikimaru Kurata, Keiichiro Toda, Genki Ishigane, Makoto Naruse, Takuro Ideguchi, Ryoichi Horisaki
  • Organizer: Frontiers in Optics + Laser Science
  • Int'l Joint Research
• [Presentation] 回折型多重演算：並列性を生かす光演算新構造 (2023)
  • Author(s): 益子 遼祐, 堀﨑 遼一, 成瀬 誠
  • Organizer: Optics & Photonics Japan 2023
• [Presentation] 常用ディスプレイからのインコヒーレント光を用いた計算機合成ホログラフィ (2023)
  • Author(s): 重松 韻矢, 成瀬 誠, 堀﨑 遼一
  • Organizer: Optics & Photonics Japan 2023
• [Presentation] 動的二次元散乱体を通した複素振幅物体の非侵襲イメージング (2023)
  • Author(s): 松田 直樹, 谷田 純, 成瀬 誠, 堀﨑 遼一
  • Organizer: Optics & Photonics Japan 2023
• [Presentation] Ultra-fast neutron detector for measuring burn history of the burning plasma (2023)
  • Author(s): Y. Arikawa, H. Shiraga, M. Ota, K. Kan, Y. Abe, A. Morace, A. Yogo, S. Fujioka, J. Frenje, M. G. Johnson, T. Yamada, A. Otomo, T. Nakamura, R. Kodama
  • Organizer: The 12th International Conference on Inertial Fusion Sciences and Applications
  • Int'l Joint Research
• [Presentation] レーザー核融合研究におけるEO効果を用いた超高速プラズマ画像計測の新展開 (2023)
  • Author(s): 有川安信, 白神宏之, 中村友哉, 太田雅人, 大友 明, 山田俊樹 , 山田龍弥, L. Zechen, W. Tianyun, 巽 湧太, A. Morace, 中嶋 誠, 余語覚文
  • Organizer: 高速度イメージングとフォトニクスに関する総合シンポジウム2023 (JCHSIP2023)
  • Invited
• [Presentation] Design of effective quantum dot net- works for application to reservoir computing (2023)
  • Author(s): Kazuki Yamanouchi, Suguru Shimomura, Jun Tanida
  • Organizer: The 13th Korea-Japan Workshop on Digital Holography and Information Photonics (DHIP2023)
  • Int'l Joint Research
• [Presentation] リザバーコンピューティングに向けた量子ドットネットワークの 蛍光多様性の検討 (2023)
  • Author(s): 山内一輝.下村 優, 谷田 純
  • Organizer: 第9回日本光学会関西支部講演会
• [Presentation] サイバーフィジカルシステムに基づく量子ドットネットワークの推定 (2023)
  • Author(s): 山内一輝.下村 優, 谷田 純
  • Organizer: 第84回応用物理学会秋季学術講演会
• [Presentation] Modern roles of optical computing in information technologies (2022)
  • Author(s): Jun Tanida
  • Organizer: 25th ICO and 16th OWLS conference
  • Int'l Joint Research / Invited
• [Presentation] 情報フォトニクスとコンピュテーショナル科学 (2022)
  • Author(s): 谷田 純
  • Organizer: 第31回計測自動制御学会中国支部学術講演会
  • Invited
• [Presentation] Single-shot blind deconvolution with coded aperture support (2022)
  • Author(s): Hideyuki Muneta、 Ryoichi Horisaki、 Yohei Nishizaki、 Makoto Naruse、 Jun Tanida
  • Organizer: OPTICS & PHOTONICS International Congress 2022
  • Int'l Joint Research
• [Presentation] 符号化開口サポートによるシングルショットブラインドデコンボリューション (2022)
  • Author(s): 宗田 英之、堀﨑 遼一、西﨑 陽平、成瀬 誠、谷田 純
  • Organizer: Optics & Photonics Japan 2022
• [Presentation] 自己相関推定による広視野スペックル相関イメージング (2022)
  • Author(s): 遠藤 祐利、谷田 純、成瀬 誠、堀﨑 遼一
  • Organizer: Optics & Photonics Japan 2022
• [Presentation] Digital Optical Phase Conjugation with Incoherent Light (2022)
  • Author(s): Ryoichi Horisaki、 Yohei Nishizaki、 Makoto Naruse、 Jun Tanida
  • Organizer: 第83回応用物理学会秋季学術講演会
• [Presentation] 医療トランスデューサに資するフォトニック情報技術 (2021)
  • Author(s): 谷田 純
  • Organizer: 第60回日本生体医工学会大会
• [Presentation] Analysis of learning-based phase retrieval (2021)
  • Author(s): Yohei Nishizaki, Ryoichi Horisaki, Katsuhisa Kitaguchi, Mamoru Saito, Jun Tanida
  • Organizer: 12th International Conference on Optics-photonics
  • Int'l Joint Research
• [Presentation] Image-based communication for IoT devices using digital optical coding (2021)
  • Author(s): Ryo Watanabe, Jun Tanida
  • Organizer: International Symposium on Imaging, Sensing, and Optical Memory 2021 (ISOM'21)
  • Int'l Joint Research
• [Presentation] Single-shot spectral imaging by spectral speckle correlation (2021)
  • Author(s): Kunihiko Ehira, Ryoichi Horisaki, Yohei Nishizaki, Makoto Naruse, Jun Tanida
  • Organizer: The 82nd JSAP Autumn Meeting 2021
  • Int'l Joint Research
• [Presentation] 光センシング・イメージングの新展開 (2021)
  • Author(s): 谷田 純
  • Organizer: 第53回光学四学会関西支部連合講演会
  • Invited
• [Presentation] コンピュテーショナルセンシング・イメージング (2021)
  • Author(s): 谷田 純
  • Organizer: 第1回光×Computingワークショップ
  • Invited
• [Presentation] 半教師あり学習による散乱イメージング (2021)
  • Author(s): 山崎 薫, 堀﨑 遼一, 谷田 純
  • Organizer: 第68回応用物理学会春季学術講演会