2020 Fiscal Year Research-status Report
ハイパースペクトルイメージングのための最適波長制御技術の研究
| Project/Area Number |
20K04520
|
|---|
| Research Institution | Toyama Prefectural University |
|---|
Principal Investigator |
大寺 康夫 富山県立大学, 工学部, 教授 (20292295)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高屋 智久 富山県立大学, 工学部, 講師 (70466796)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | マルチスペクトルイメージング / マルチスペクトルカメラ / フォトニック結晶 / 機械学習 / 逆問題 / IoT |
|---|
| Outline of Annual Research Achievements |
研究実施計画に記載した項目それぞれに対し、研究の実績及び進捗を以下に記述する。
①ランダムMFAの最適透過関数理論：MFA間の透過関数の相互相関関数を用いる方法と、自己相関関数を用いる方法の２とおりで最適なMFAを設計、または試作済みMFAの特性評価を行った。我々が取り扱う多層膜型MFAでは異なるフィルタ同士でも透過関数は似通りがちだが、MFAの水平・垂直両方向の微細周期構造のピッチやランダムさを調整することで相関を低下させることを見出した。②適応スペクトル推定については、到来するスペクトルの主成分スコアをMFAの出力画素値から逆推定する手法、及び吸光度に相当するスペクトルの対数を同じく逆推定する手法を検討し、いずれも光ショット雑音存在下で妥当な精度が得られることを明らかにした。また逆推定の手法として機械学習（カーネル回帰）等を試み、良好な推定結果が得られる感触を得た。③前述した①②の数値検討で得られた知見に基づき、実際のMFAの試作実験にも着手した。作製したMFAはカバーガラス及びマイクロレンズアレイ、マイクロフィルタアレイを除去したイメージセンサ上に実装する必要があるが、これらの除去技術も年度後半に併せて開発し、検証実験をするのに十分なセンサを用意することができた。またMFAをそれらのセンサに直接実装し、シングルボードマイコン(Raspberry Pi)等で制御して、到来スペクトルに対応したフィルタリング画像が得られることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
解析、実験の２面でそれぞれ計画以上に進展していると考えている。申請時の2019年から現次元に至るまでの機械学習・IoT技術の進展と社会的要請は大きく、これに応えるために申請の内容より進んだ取り組みを行ったためである。以下にそれぞれを記す。
①解析面：MFA出力から到来スペクトルを逆推定する方法として、申請時はWiener推定のような、主として古典的な線形推定手法を予定していた。研究開始後に機械学習の実装を精力的に推し進め、スペクトル自体ではなくその主成分スコアを制約付き線形推定モデルで推定したり、さらに吸光スペクトルをガウスカーネル回帰で推定するなどの非線形推定にも取り組み、これらが満足いく結果を与えることを確認した。
②実験面：本課題のMFAおよびそれを搭載したイメージセンサが実現できた暁には、その主たる応用分野は非破壊検査およびIoT用イメージ計測である。いずれも、マシンビジョン用CMOSセンサへの実装と、Raspberry Piのようなシングルボードマイコンによる制御が必須となる。このような背景を意識して、シングルボードマイコンに接続可能な市販のCMOSイメージセンサのMFA実装用前処理技術を開発した。またマイコン経由でセンサを制御する技術の開発も進め、マルチスペクトルセンサの画像をリアルタイムで可視化することが可能となった。これらと並行して、MFA自体の作製技術もさらに前進させた：すなわち電子ビーム描画装置の各種描画条件を最適化することにより、計画開始時点では１枚のMFAのパターン描画に数時間を要していたところを、90分前後で描画を完了させることができるようになった。これにより多彩な検証用MFAの作製が可能になり、実際にこの条件で年度末に数チップを作製することができた。
|
| Strategy for Future Research Activity |
主に３つの点から研究を推進する。
①MFAの最適透過関数理論（続き）：数十チャンネルのMFAのうち何チャンネルが独立に機能しているかを、透過関数行列の特異値分布を解析して把握する試みを行う。通常の特異値分解に続いて、RGBの３色画像の他に何波長分を独立な情報として保持しているのか、という一種の制約付き問題を解く必要がある。
②二次微分／主成分画像の復元と推定：実際の応用においては分光画像の可視化は処理の中間段階であって、その先には被計測物写体内部の化学的・機械的構造に関わる情報の可視化が必要になる。近赤外分光の分野では到来したスペクトルを吸光度、そしてその波長二次微分のスペクトルに変換してから、それらの情報との相関を取る手法が使われてきた。本課題ではまず吸光度画像（これは分光反射率と違い、画像の輝度とは非線形の関係にある）およびその波長二次微分画像の可視化を行う。これは、今年度実施してきた機械学習による推定をさらに推進することで実現を目指す。またこれらを実際に使用する際には制御プログラムの高速化も欠かせない。これも併せて検討する。
③応用計測：いくつかの応用を設定し、試作したセンサ及び検討・実装した解析手法の有効性を画像計測を通して検証する。今のところ、Ａ）農産物（果実、野菜など）、Ｂ）生体（皮膚越しの末梢血流）などを想定している。Ａ）においては各種果実、野菜等を対象物として、その反射率画像、吸光度画像、吸光度波長二次微分画像、そして果物の場合はBrix糖度の教師データを用いることによる糖度画像、など、派生的情報の非破壊的可視化を試みる。Ｂ）においては末梢血の酸素飽和度の、パルスオキシメータ等の計測値を教師データとした実時間可視化や、炎症部位の検出などを試みる。
|
| Causes of Carryover |
学会参加のため執行を予定していた旅費が、当該学会のオンライン開催のために未執行となった。次年度使用額を、次年度の学会発表・学会参加にかかる旅費に充当する。
|
