Development of high-precision and real-time three-dimensional temperature measurement method in a liquid using deep learning

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K04306
• Research Institution: University of Yamanashi
• Principal Investigator: 鳥山 孝司 山梨大学, 大学院総合研究部, 准教授 (50313789)
• Co-Investigator(Kenkyū-buntansha): 舩谷 俊平 山梨大学, 大学院総合研究部, 准教授 (50607588) ; 多田 茂 防衛大学校(総合教育学群、人文社会科学群、応用科学群、電気情報学群及びシステム工学群), 応用科学群, 教授 (70251650)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 感温液晶微粒子 / 温度計測法 / 重回帰分析 / 画像処理 / 散乱光強度

Outline of Annual Research Achievements

初年度となる当該年度では、感温液晶微粒子から温度を計測するための基礎となる粒子の大きさや幾何形状、またそれに対応する感温液晶微粒子からの散乱光強度との関係をデータベース化することが目的である。そのため、感温液晶微粒子の形状が十分に確認できる倍率を有する顕微鏡を導入し、シリコンオイルに浸した感温液晶微粒子を一定温度に保ち、カラーカメラ及びモノクロカメラにて粒子画像を得ることでデータベース化を試みた。
データベース化を行う上で、OpenCVを用いた処理プログラムを作成し、モノクロカメラで得られた感温液晶微粒子の画像から、画像上の粒子の面積、真円度、粒子毎の最大輝度値を読み取り、整理を行った。粒子毎の最大輝度値は同じ温度でも大きく異なることが確認され、単純に最大輝度値からは温度換算が出来ないことが明らかとなったが、粒子の面積と真円度を用いた重回帰分析によって、最大輝度値との強い相関が確認され、これらをパラメータとすることで温度計測の可能性が見出された。これらのデータをより多くとり、整理することで、温度計測のためのデータベースの作成が完了すると考えている。
別の取り組みとして、白色LED光源では弱い照明強度となる青色波長域の単色のLED発光素子を用い、単色の照射光にてカラーカメラで観察を行った所、R,G,B値の割合が温度によって異なることが確認された。これは、これまで述べられていた感温液晶は散乱することで呈色をするというものではなく、照射光とは異なる波長を生み出している可能性があることを示している。この性質を利用することで精度の良い温度計測を行える可能性も確認され、新たな温度計測法の基盤技術の一つとして現在検討している。
温度分布を得るためのDLT法のアルゴリズムについては、ほぼ完成しているが、具体的な精度評価についてはこれからを予定している。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

感温液晶微粒子から得られる画像情報から温度を得るため、感温液晶微粒子の大きさや幾何形状、散乱光強度の関係を詳細に調べ、データベース化するための取り組みを行った。
まず最初に行ったのは、感温液晶シートから温度換算する従来の手法と同様に、感温液晶微粒子からの狭帯域の散乱光強度比を用いた温度換算法についてであるが、微粒子内においても散乱光分布が存在し、そのまま比にしても、同じ温度の微粒子画像でありながら、全く同じ値とならないことが明らかとなった。さらには、粒子毎の最大輝度値にも大きなばらつきがあることが観察された。そこで、OpenCVを用いた処理プログラムを作成し、整理を行った結果、粒子の面積と真円度を用いた重回帰分析によって、最大輝度値との強い相関が確認され、これらをパラメータとすることで温度計測の可能性が見出された。
別の取り組みとして、青色波長域の単色のLED発光素子を用いた照明を作成し、単色の照射光にてカラーカメラで観察を行った所、R,G,B値の割合が温度によって異なることが確認され、その性質（RGB値から彩度を計算する）を利用することで温度計測ができる可能性が見出された。これは従来の散乱光強度比を用いる手法とは別の新たな温度計測法の基盤技術の一つになるものと考えている。
以上により、当初の目的であったデータベースの完成にまでは至っていないが、そのために必要な知見は十分得られており、また、別の角度からの整理方法の可能性も見いだせていることから、おおむね順調に進展していると考えている。

Strategy for Future Research Activity

これまでに得られた整理方法について精度的な面で評価を加えるとともに、さらに多くの感温液晶画像を用いてデータベースを構築していくことを予定している。また、その中で、深層学習によるデータ整理も進めていき、計測誤差となる要因の抽出及び除外方法の構築や、その技術を組み込むことにより、より計測精度の高い手法に昇華させることを予定している。
また、DLT法のアルゴリズムの空間精度評価を進め、高精度な温度分布計測法としての基盤となるアルゴリズムを完成させることを予定している。

Causes of Carryover

新型コロナウィルス感染症により、国内外の学会が中止となったりオンライン化されたため、旅費が使用されていないことが要因である。
なお、深層学習を行うための能力の高いPCの準備や、その元データとなる感温液晶画像を得るための実験を多く実施する必要があるため、次年度以降の人件費として充てることを予定している。