Highly sensitive hyper spectral imaging by sensor fusion and numerically resolved cross-talks

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K12457
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Allocation Type: Multi-year Fund
• Research Field: Perceptual information processing
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: Kumazawa Itsuo 東京工業大学, 科学技術創成研究院, 教授 (70186469)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: マルチスペクトルカメラ / ハイパースペクトル / ディープラーニング / 逆問題 / マイクロプリズムアレイ / センサー融合

Outline of Final Research Achievements

Traditional multi-spectrum cameras have been trying to use sophisticated optical systems to resolve spectrum bands. In this study, we used a very simple optical system and tried to resolve the cross-talks among spectrum bands and pixels resulting from such a simple optical system by numerical processing of the images. For this purpose, we developed a sensor fusion system using a mono-chrome camera with a micro-prism-array and a standard color camera. And as the numerical processing to resolve cross-talk, we developed convex-projection-based optimization techniques and deep neural networks (U-net).
,

Free Research Field

画像認識、ニューラルネットワーク

Academic Significance and Societal Importance of the Research Achievements

近年工場自動化の製品検査工程、植物工場における植物の生育状態診断、医療画像診断、航空機やドローンによる農場や植生の監視等、様々な場面でマルチスペクトルカメラが重要な役割を果たすようになった。しかしながら現状のマルチスペクトルカメラは高度な光学系を使用しているため高価で重く、一度に計測できるのが線上の範囲となるため二次元の画像の計測に時間を要することが、利用上の制約になっていた。本課題では、光学系を画期的に簡単化してコストを下げ、軽く、二次元の画像を短時間に計測できるようにし、光学系が単純なために生じる低下する画質を高度な数値処理やディープラーニングで改善する技術を開発する。