Development of 4D light field measurement technique with machine learning

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K03922
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 川口 達也 東京工業大学, 工学院, 助教 (40376942)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 機械学習 / CNN / ライトフィールド画像 / GPU / EPINET

Outline of Annual Research Achievements

複雑乱流場，温度や濃度移流の存在する工業上重要な流れ場の計測においては，その３次元性，非定常性が重要とされているが，現在利用可能な計測ツールとして，多次元時系列データ取得デバイスである高解像度・高感度・高速度カメラが幅広く用いられているが，本質的に二次元撮影法であるため，乱流現象が内包する３次元場の捕捉が困難であり，その本質に実験的に迫ることは困難とされてきた．本研究では，流動場から計測光学系に到達する光線の 4 成分（光線場）を完全に記録するライトフィールド撮影法を開発し，機械学習を用いて旧来，面撮影に制限されていた速度場，温度場，濃度場等の流動を特徴付ける物理量を真に凍結して，レーザシート平面だけではなく屈曲した任意形状面上の物理量分布を 3 次元時系列計測が可能な手法を開発することにより，複雑熱流動の多次元複合計測を行い，数値解析に供される乱流モデル検証や，実験による物理現象の解明に寄与する計測手法の開発，実流動場への適用，さらには複雑流動現象の解明を目的としている．研究期間初年度において，ライトフィールド画像の機械学習への入力画像として最適な画素数や最適な可能なマイクロレンズサイズ，空間配置などを比較検討し，機械学習の入力層である畳み込み層への入力に適した画像の性質について検討した．また，既存の機械学習モデルをベースに，まずはライトフィールド画像から多視点画像を複数生成し，既存のEPINETモデルを用いた機械学習に適用した結果，入力層の削減可能性や多視点画像の数を変化させた場合の奥行き判定制度を定量的に評価した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究では高精度に同期されたパルス照明システムおよびライトフィールド画像撮影システムおよび得られた画像を機械学習により処理アルゴリズムを開発し，時々刻々と変化する微粒子・微細気泡など分散性粒子のラグランジ非定常イメージング手法を確立する手法の構築を目指すものであるため，初めに任意形状面への合焦点化処理を高速に行う，または奥行き一の推定を機械学習により判定させる計算アルゴリズムをGPU上に構築し，その空間分解能や解像度などの性能を定量評価した．この際，畳み込みニューラルネットワーク (CNN) を用いて，粒子画像や LIF 画像に対する再焦点化に最適な光線追跡，選択アルゴリズムを決定する手法を比較検討し，様々な計測対象や測定対象の形状に自動的に最適化された再焦点化アルゴリズムを機械学習により得る手法を開発する手法に一定の目途が立ったことから，おおむね計画通りに進んでいるといえる．

Strategy for Future Research Activity

現在は既存のEPINETモデルを用いた機械学習ネットワークに対して，別途ライトフィールド画像に対して処理を施した多視点画像を複数生成し，これを機械学習の入力段である畳み込み層に入力する方式の開発に成功しているが，より進んだ方式としてマイクロレンズによるサブアパーチャ画像の集積画像であるライトフィールド画像を直接的に機械学習ネットワークの入力層に入力させる新たなネットワークの構築を行う予定である．顕微撮影条件下でのライトフィールド光学系の最適 N.A. や拡大倍率など，逆光線追跡に必要な各種光学パラメータの調整を波動光学ならびに機械学習により予測し，システム設計に反映させる．あるいは，光線追跡を前提とせず，任意のライトフィールド画像をダイレクトに処理可能な学習ネットワークを新たに構築する．そのためには，学習に必要なライトフィールド画像を多数準備する必要があるため，実験により撮影画像を収集するか，または数値シミュレーションにより複数の合成画像を生成して，それらを学習データとして活用することも検討する．具体的には，マイクロスケールでのバイオリアクターや細胞の in-situ 撮影時において，空間分解能を犠牲にしない光学条件や再焦点化位置などの各種光学パラメータの設定による撮影画像を用いて CNN による機械学習を用いて最適化する．確立されたパラメータの最適化手法を基に，顕微鏡撮影でのライトフィールド計測系を構築することを目指す．