Automatic Classification of Neonatal Sleep-Wake States by Video Analysis
| Project/Area Number |
21K12704
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90130:Medical systems-related
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
若林 哲史 三重大学, 工学研究科, 教授 (30240443)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
盛田 健人 三重大学, 工学研究科, 助教 (40844626)
新小田 春美 福岡女学院看護大学, 母性・小児看護学領域, 教授 (70187558)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 睡眠 / 新生児 / NICU / 機械学習 / 動画 / 表情 |
|---|
| Outline of Research at the Start |
本研究では，１分ごとにBrazeltonのNBASに基づく睡眠覚醒状態のアノテーションが付与された新生児の動画を対象とし，動画から抽出された体の動きと表情の特徴を機械学習し，睡眠覚醒状態を非接触で自動分類する手法を提案する．特徴ベクトルにはオプティカルフローの累積ヒストグラムや時空間HOGV特徴，機械学習にはSVM，Random Forest や深層学習手法を用いて比較実験を行い，分類精度の高い手法を明らかにする．
|
| Outline of Annual Research Achievements |
本研究ではNICUにおける児の睡眠覚醒状態を、動画により自動分類する手法を検討している。具体的には1分ごとにBrazeltonのNBASに基づく睡眠覚醒状態のアノテーションが付与された新生児の動画を対象として、動画から抽出された体の動きと表情の特徴を機械学習し、睡眠覚醒状態を非接触で自動分類する。実施項目として「体の動きに基づく睡眠覚醒状態自動分類」、「表情に基づく睡眠覚醒状態自動分類」、「体の動きと表情の両方を用いる睡眠覚醒状態自動分類」を計画している。
2021年度は、動画フレームの顔領域から抽出したHOG特徴とSVMを用いた分類手法について論文誌で報告するとともに、オプティカルフローにより抽出した体の動きの特徴量を用いる機械学習手法と、動画を3DResNetで分類する手法の比較を行ったが、3DResNetの精度が不十分であった。
2022年度は、後者の実験条件を整えて検討したところ、オプティカルフローから求めた体の動きの特徴量を用いる機械学習手法の分類精度がmacro-F1値で0.765のところ、3DResNetでは0.766とほぼ同程度となり、ここまでの成果を、2022 World Automation Congress (WAC)で発表した。
現時点でBrazeltonのNBASに基づく新生児の睡眠覚醒状態自動分類手法は存在せず、本研究の成果により、新生児や看護師に負担をかけずに継続的・客観的な睡眠状態の観測が可能になることを期待できる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実績の概要で述べたように、動画中の新生児の睡眠状態を深層学習手法である3DResNetによって自動分類する研究の成果を査読付きの国際会議で発表することができたため。
|
| Strategy for Future Research Activity |
今年度は、顔領域を抽出した動画を3DResNetを用いて分類する手法について検討する。そして体全体の動画を3DResNetを用いて分類する手法の結果との統合によって、分類精度の更なる向上を目指す。また、看護師の協力を得て新たに撮影した動画を用いた実験も進めて行くとともに、トランスフォーマーベースの動画分類手法についても検討する。
|
Report
(2 results)
Research Products
(3 results)
