Research on automatic sleep status monitoring by analysing chest motion, facial expression, gesture and face temperature
| Project/Area Number |
20K04550
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21040:Control and system engineering-related
|
|---|
| Research Institution | Kagoshima University |
|---|
Principal Investigator |
渡邊 睦 鹿児島大学, 理工学域工学系, 教授 (50325768)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Project Status |
Discontinued (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2020: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 睡眠状態自動認識 / 動画像処理 / 深層学習 / 複数視点解析 / 脳波解析 / LightGBM / Desnet / パターン認識 / 機械学習 / 時系列画像解析 / 赤外線カメラ / 睡眠 / レム睡眠行動障害 |
|---|
| Outline of Research at the Start |
赤外線カメラと可視カメラにより睡眠中の画像を撮影し，動画像処理により胸部の動きを求め，呼吸状態を認識する．また顔の温度変化抽出，表情・挙動の認識を並列的に行う．これらの特徴抽出結果に機械学習を適用することにより，睡眠段階（レム睡眠，ノンレム睡眠Stage1, ノンレム睡眠Stage2, ノンレム睡眠Stage3, ノンレム睡眠Stage4）の同定，睡眠状態の自動認識を目的とする．この結果，身体に検査端子を装着せず睡眠を妨げない非拘束状態にて，睡眠中の表情・挙動の変化に基づく睡眠状態認識が可能となり，睡眠時無呼吸症候群，レム睡眠行動障害などの睡眠障害・疾患に対処することが可能になる．
|
| Outline of Annual Research Achievements |
本研究の目的は，赤外線カメラと赤外線カメラにより各々得られる睡眠中の時系列画像に対し，動画像処理，画像認識，機械学習手法を用いて，呼吸状態，表情・挙動，顔温度変化の統合的解析に基づく睡眠状態自動認識手法を開発することである．この手法により，従来の睡眠ポリグラフ（PSG）検査と同等の情報が，身体への検査端子装着を必要としない非拘束状態で得られることになり，日常の場で自分自身の日常的な睡眠状態把握に利用できるのみならず，睡眠時無呼吸症候群，レム睡眠時行動障害などの睡眠障害検査の性能向上にも貢献するなど，重要性は非常に高い．
胸部の動き・表情・挙動解析に基づく睡眠時呼吸状態認識手法の研究開発，および赤外線カメラ画像処理による顔温度変化検出手法の研究開発を実施した.これらの研究開発の結果に対して2種類の手法を適用した.機会学習,評価には鹿児島大学医学部医学科（鹿児島大学病院・神経科精神科兼務）・中村雅之教授，石塚貴周助教，﨑元仁志助教の支援を得て，睡眠中のデータにおける，脳波データおよび眼筋電位データに基づく睡眠段階の同定結果を使用した．この睡眠中のデータ収集に関しては，鹿児島大学大学院理工学研究科に所属する学生数名の協力を得た．LightGBMを用いた睡眠状態自動認識手法では,睡眠段階の推定精度が84%, Desnet+LSTMハイブリッドシステムを用いた睡眠状態自動認識手法では,睡眠段階の推定精度が85%の結果を得られた.
これらの研究成果を纏め， "総合的画像解析による睡眠中の状態自動推定に関する研究"という題目で，2021（令和2）年6月15日（火）～17日（木）にオンライン開催された，第60回日本生体医工学会大会および"複数視点動画解析による睡眠中の状態自動推定に関する研究"という題目で，2021（令和2）年12月16日（木）～17日（金）にオンライン開催された，パターン認識・メディア理解研究会（PRMU）において発表を実施した．
|
Report
(2 results)
Research Products
(3 results)
