Development of 4D light field measurement technique with machine learning
| Project/Area Number |
22K03922
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 19010:Fluid engineering-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
川口 達也 東京工業大学, 工学院, 助教 (40376942)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2024: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2022: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
|
|---|
| Keywords | 機械学習 / 蒸留 / ライトフィールド画像 / 組み込み機器 / リアルタイム処理 / 奥行推定 / CNN / GPU / EPINET / ディープラーニング / ライトフィールド / 熱流動 / 光学計測 |
|---|
| Outline of Research at the Start |
乱れた流れ，あるいは流れの中にある温度や物質濃度のばらつき，揺らぎなどは，環境問題やエネルギー問題，あるいは身近な生活の中に多く見られる物理現象である．
このような流れを知り，また私たちの豊かな生活に有効利用するためにはその性質を詳しく知る必要がある．
本研究では，昆虫の複眼と高等動物の単眼とを巧みに組み合わせた独自の光学撮影システムを開発し，それらの特長を兼ね備えた「機械の目」と，近年急速な進歩を遂げている人工知能，いわば「機械の脳」とを組み合わせ，今まで解析が進まなかった複雑な熱流動現象についての理解を深めることができる新しい知的な計測手法を開発します．
|
| Outline of Annual Research Achievements |
本研究では，無数のマイクロレンズが配置されたマイクロレンズアレイとディジタルセンサを組み合わせた光学装置から得られるライトフィールド画像を入力とするニューラルネットワークを構築した．学習プロセス及び推定プロセスのいずれにおいても，大容量の記憶装置及び高速な並列演算装置が必須となるため，本年度導入した多目的画像演算処理装置の動作検証を行うために，ニューラルネットワークを構成する計算コードの動作検証を慎重に行った．
このネットワークでは画像の畳み込みを利用する畳み込みニューラルネットワーク(CNN)を基盤とする応用手法であるが，入力画像は物理空間のレンズによる写像である一般的な二次元投影画像ではなく，写像関係が極めて複雑なライトフィールド画像，または複数角度から撮影された画像セットとなるため，その計算時間が莫大となる問題を抱えており，その実用的な利用は容易ではない．一例を挙げれば，陸上輸送車両の自動運転や，空中飛翔体のリアルタイム映像処理制御には適用困難と考えられてきた．
研究期間第２年度において，ライトフィールド画像を入力とする機械学習モデルをベースに，学習時にネットワークの軽量化および高精度化を同時に行うことが可能な蒸留，Distillationと呼ばれる最適化技術を新たに開発し，推論時の計算負荷の大幅な低減を可能とした．これにより，大型の計算機や，消費電力の大きい多目的画像処理プロセッサ(GPGPU)を用いることなく，小型の組込機器に適用可能な３次元推定モデルを構築することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究で開発している３次元画像処理技術では，ニューラルネットワークの計算時間短縮のために，一般にネットワークの簡略化が必要であると考えられており，その場合は奥行き位置の推定精度が低下するトレードオフ関係が成立すると考えられてきたが，ここに最新の計算技術を用いることで，計算速度を向上させるだけでなく，精度も同時に向上させることに成功しており，当初の計画以上の成果が得られていると考えている．
|
| Strategy for Future Research Activity |
現在構築しているニューラルネットワークを用いた機械学習に対して，実際の多視点画像を用いて直接的に３次元空間の再構成を行う新たなネットワークの構築を行う予定である．顕微撮影条件下でのライトフィールド光学系の最適な撮影条件や，拡大倍率など，必要な各種光学パラメータの調整を波動光学ならびに機械学習により予測し，システム設計に反映させる．そのためには，学習に必要な多視点画像を複数セット準備する必要があるため，実験により撮影画像を収集し，数値シミュレーションにより複数の合成画像を生成して，それらを学習データとして活用する．具体的には，マイクロスケールでのリアクターや細胞の in-situ 撮影時において，空間分解能を犠牲にしない光学条件や再焦点化位置などの各種光学パラメータの設定による撮影画像を用いて CNN による機械学習を用いて最適化する．確立されたパラメータの最適化手法を基に，顕微鏡撮影でのライトフィールド計測系を構築する．
|
Report
(2 results)
Research Products
(3 results)
