| Project/Area Number |
22K14271
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 21030:Measurement engineering-related
|
|---|
| Research Institution | The University of Shiga Prefecture |
|---|
Principal Investigator |
井上 敏之 滋賀県立大学, 工学部, 講師 (90757709)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | 非接触生体センシング / 電波センサ / 赤外線カメラ / FPGA / 深層学習 / 非接触 / 見守りシステム |
|---|
| Outline of Research at the Start |
新型コロナウイルス感染リスクの少ない保育・介護施設のためのバイタルモニタリングシステムの開発が急務となっている．電波センサでは，衣服や布団等を透過して非接触・非拘束で心拍数や呼吸数の検出が可能である．そこで，新型コロナウイルス感染症の特徴である発熱を非接触に検出可能な赤外線カメラを電波センサと併用し，電波センサによるバイタル情報取得，赤外線カメラによる体温・位置情報取得，および電波センサ受信信号に対する深層学習による個人識別を実施することにより，部屋内の複数の見守り対象者に対する非接触バイタルモニタリングを行う．
|
| Outline of Annual Research Achievements |
2020年に大流行した新型コロナウイルスに代表される集団感染症への対策として，感染症リスクの少ない保育・介護施設のためのバイタルモニタリングシステムの開発が急務となっている．電波センサでは，衣服や布団等を透過して非接触・非拘束で心拍数や呼吸数の検出が可能である．そこで，保育・介護施設のための感染症リスクの少ないバイタルモニタリングシステムの開発を目的とし，電波センサと赤外線カメラを組み合わせた新しい非接触バイタルモニタリングシステムを提案している．
提案システムの構築において，PCと比較して小型かつ低消費電力で，深層学習における並列演算を高速に実行可能なFPGA（Field-Programmable Gate Array）の使用が望ましい．FPGA画像処理において，FPGAチップの外部に配置されているDRAMと呼ばれるメモリ領域での画像データの読み書きが不可欠である．DRAMへのアクセスには主に，(i)カメラモジュールにより取得した画像データの書き込み(画像入力)，(ii)FPGA画像処理モジュールによる画像データの読み込み，(iii)FPGA画像処理モジュールからの処理後画像データの書き込み，(iv)モニタ等による処理画像データの読み込み(画像出力)の4種類が存在する．しかし，カメラのフレームレートが大きい場合や，画像処理モジュールからの画像データ要求頻度が高い場合に，アクセス同士の衝突が生じ，正常な画像処理結果が得られない．そこで，メモリの稼働状態監視モジュールを新たに実装し，メモリアクセスを効率化する手法を考案した．
電波センサの照射方向制御のために，補助的に赤外線カメラ画像を用いる．そこで，電波/赤外線一体センサの方向制御のためのFPGA SoCを用いた制御システムを構築した．加速度・角速度・地磁気の各3軸で構成される9軸センサを用いて，電波/赤外線一体センサの傾きを算出し，2軸サーボモータによりカメラ方向の調整を可能とした．また，カメラぶれの補正機構を実装した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実施2年目において，本研究課題のコア技術にあたるFPGAを用いた画像処理システムの基盤技術を確立することができた．特に，電波センサデータとカメラ画像データの並列処理が必要となる本システムにおいて，DRAMにおけるデータ読み書きはシステム高速化の点でボトルネックとなることが懸念されたため，メモリアクセス効率化手法が整備できたことにより，今後の研究発展の見通しが明るくなった．また，電波/赤外線一体センサ方向制御システムの動作検証が実施でき，システム全体の検証に必要な要素技術の整備が完了したと言える．
|
| Strategy for Future Research Activity |
開発した電波/赤外線一体センサ方向制御システムを使用して，赤外線カメラによる対象者位置推定，および電波センサによるバイタルサイン取得を試みる．まず，赤外線カメラにより得られる熱画像温度分布に対してテンプレートマッチング等を適用し，画像内の対象者位置を推定する．さらに，カメラ方向を変化させて複数の角度で熱画像を取得して，対象者が存在する部屋の床上の二次元熱画像マップを作成し，床上で横たわっている複数対象者の位置情報を取得する．取得した位置情報を基に、対象者と正対するように電波センサ方向を変化させてバイタルサインを取得する．同時に，個人識別技術により各位置に存在する対象者を特定し，対象者の取り違えを防止する．
|
