2020 Fiscal Year Research-status Report
Research on automatic sleep status monitoring by analysing chest motion, facial expression, gesture and face temperature
| Project/Area Number |
20K04550
|
|---|
| Research Institution | Kagoshima University |
|---|
Principal Investigator |
渡邊 睦 鹿児島大学, 理工学域工学系, 教授 (50325768)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 睡眠状態自動認識 / パターン認識 / 機械学習 / 時系列画像解析 / 赤外線カメラ / 脳波解析 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，赤外線カメラと可視カメラにより各々得られる睡眠中の時系列画像に対し，動画像処理，画像認識，機械学習手法を用いて，呼吸状態，表情・挙動，顔温度変化の統合的解析に基づく睡眠状態自動認識手法を開発することである．この手法により，従来の睡眠ポリグラフ（PSG）検査と同等の情報が，身体への検査端子装着を必要としない非拘束状態で得られることになり，日常の場で自分自身の日常的な睡眠状態把握に利用できるのみならず，睡眠時無呼吸症候群，レム睡眠時行動障害などの睡眠障害検査の性能向上にも貢献するなど，重要性は非常に高い．昨年度は以下の２つの基盤的な研究を並行して進める計画であり，ほぼ計画通り達成できた．実験は鹿児島大学工学部情報生体システム工学棟2階・渡邊研究グループ実験室に設置した暗室にて実施した．
A.胸部の動き・表情・挙動解析に基づく睡眠時呼吸状態認識手法の研究開発
提案者が開発した動画像処理に基づく呼吸モニタリング手法を改良することにより，睡眠中の胸部動き，表情・挙動を抽出することによる睡眠時呼吸状態認識手法の研究開発を行う．
B. 赤外線カメラ画像処理による顔温度変化検出手法の研究開発
睡眠時に撮影した可視カメラからの顔部品検出に基づき、並置した赤外線カメラ画像より，鼻部，眉間部などの顔温度変化を検出する手法を開発する．このために，可視カメラと赤外線カメラの間の幾何学的対応関係を推定するカメラキャリブレーション手法も併せて開発する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
胸部の動き・表情・挙動解析に基づく睡眠時呼吸状態認識手法の研究開発，および赤外線カメラ画像処理による顔温度変化検出手法の研究開発を実施すると共に，鹿児島大学医学部医学科（鹿児島大学病院・神経科精神科兼務）・中村雅之教授，石塚貴周助教，﨑元仁志助教の支援を得て，睡眠中のデータにおける，脳波データおよび眼筋電位データに基づく睡眠段階の同定を実施した．この睡眠中のデータ収集に関しては，鹿児島大学工学部先進工学科情報・生体システム工学プログラムに所属する学生数名の協力を得た．
これらの研究成果を纏め， "総合的画像解析による睡眠状態の自動推定に関する研究"という題目で，2020（令和2）年8月2日（日）～5日（水）にオンライン開催された，第23回 画像の認識・理解シンポジウム(MIRU2020)において発表を実施した．
|
| Strategy for Future Research Activity |
以下の２つの基盤・発展的な研究を並行して進める予定である．
A.胸部の動き，表情，挙動，顔温度変化に基づく睡眠状態自動認識手法の開発
鹿児島大学医学部の睡眠障害診断を専門とする医師との連携により，脳波を基準とする睡眠段階同定結果を教師データとする機械学習により，胸部の動き，表情，挙動，顔温度変化の統合に基づく睡眠状態の自動認識手法を開発する．
B.総合実験による有効性の定量評価
鹿児島大学医学部の睡眠外来検査室における実験協力者を用いた実験により，開発した手法の有効性を定量的に評価する．
|
| Causes of Carryover |
新型コロナの影響により学会出張ができなかったため，旅費として使用予定の分が残った．今年度の備品費に充当する．
|
Research Products
(1 results)
