高速・高解像度撮影を目指したベクトルピクセルイメージング技術の開拓

• Project/Area Number: 22K18803
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 21:Electrical and electronic engineering and related fields
• Research Institution: Chiba University
• Principal Investigator: 下馬場 朋禄 千葉大学, 大学院工学研究院, 教授 (20360563)
• Project Period (FY): 2022-06-30 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000); Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000); Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: ラインセンサ / イメージング / 深層学習

Outline of Research at the Start

本研究は２つのベクトルピクセルイメージング技術を開発する．撮像素子には受光素子が並べられたラインセンサを使用する．前者の研究では，複数回のパターン投影をすることで大画素数の撮影かつ高速撮影が可能なイメージング技術を開発する．後者の研究では，パターン投影を必要としないワンショットで撮影可能なベクトルセンサイメージングを開発する．この研究では，１次元の計測データと正解画像をマッピングするニューラルネットワークを開発する．

Outline of Annual Research Achievements

本研究はベクトルピクセルイメージングを開発する．撮像素子には受光素子が並べられたラインセンサを使用する．提案手法は従来のイメージングデバイス（CCDやCMOSカメラ）とシングルピクセルイメージングの両方の利点を有する．CCDやCMOSカメラは高解像度撮影を得意とするが，幅広い波長帯や低光量環境下での撮影は苦手とする．フォトダイオードなどの単一受光素子を使用するシングルピクセルイメージングはその逆の特性となる．提案手法は，高解像度の撮影かつ高速撮影が可能であり，幅広い波長帯や低光量環境下での撮影も可能となる．

本年度は、はじめにベクトルピクセルイメージングの原理確認のために、シミュレーションを実施した。シミュレーションでは、物体、拡散板、ラインセンサからなる光学系を想定し、ライン情報を取得し、そのライン情報と元物体の関係を深層ニューラルネットを用いて学習させた。実機でも、同様のことを行い、学習した深層学習ニューラルネットはライン信号から元物体を復元できることを示した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は、はじめにベクトルピクセルイメージングの原理確認のために、シミュレーションを実施した。シミュレーションでは、物体、拡散板、ラインセンサからなる光学系を想定し、ライン情報を取得し、そのライン情報と元物体の関係を深層ニューラルネットを用いて学習させた。実機でも、同様のことを行い、学習した深層学習ニューラルネットはライン信号から元物体を復元できることを示した。
この内容をもとに、１件の口頭発表及び、１件の海外学術誌に論文が掲載された。

Strategy for Future Research Activity

次年度は、より多くの情報をラインセンサで取得できる手法を検討する。具体的には、昨年度は振幅情報のみを取得していたが、位相情報も復元できる手法の構築を行う。また、ローリングシャッタ方式のイメージングセンサが、ラインセンサの組み合わせであるとみなせることを利用した、高速なイメージングシステムの構築を行う。

Research Products

• [Journal Article] Vector sensor imaging (2023)
  • Author(s): Koki Kawamoto, Harutaka Shiomi, Tomoyoshi Ito, Takashi Kakue, Tomoyoshi Shimobaba
  • Journal Title: Optics and Lasers in Engineering Volume: 162 Pages: 107439-107439
  • DOI: 10.1016/j.optlaseng.2022.107439
  • Peer Reviewed
• [Journal Article] Single-pixel imaging for edge images using deep neural networks (2022)
  • Author(s): Ikuo Hoshi, Masaki Takehana, Tomoyoshi Shimobaba, Takashi Kakue, Tomoyoshi Ito
  • Journal Title: Applied Optics Volume: 61 Issue: 26 Pages: 7793-7797
  • DOI: 10.1364/ao.468100
  • Peer Reviewed
• [Presentation] リニアイメージセンサと深層学習を用いた物体識別とイメージング (2022)
  • Author(s): 川本航旗, 下馬場朋禄, 塩見日隆, 角江崇, 伊藤智義
  • Organizer: 3次元画像コンファレンス2022