2021 Fiscal Year Research-status Report
Automatic Classification of Neonatal Sleep-Wake States by Video Analysis
| Project/Area Number |
21K12704
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
若林 哲史 三重大学, 工学研究科, 教授 (30240443)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
盛田 健人 三重大学, 工学研究科, 助教 (40844626)
新小田 春美 鹿児島純心女子大学, 看護栄養学部, 教授 (70187558)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 睡眠 / 新生児 / NICU / 機械学習 / 動画 / 表情 |
|---|
| Outline of Annual Research Achievements |
本研究では、NICU（新生児特定集中治療室）における児の睡眠覚醒状態を、動画により自動分類する手法を検討している。具体的には、１分ごとにBrazeltonのNBASに基づく睡眠覚醒状態のアノテーションが付与された新生児の動画を対象として、動画から抽出された体の動きと表情の特徴を機械学習し、睡眠覚醒状態を非接触で自動分類する。
2021年度はまず、オプティカルフローにより抽出した体の動きの特徴量を用いて機械学習により分類する手法と、深層学習である3DCNNの一種の3DResNetで動画分類する手法を比較・検討した。分類精度は、macro-F1値で前者が０．７６５、後者が0.695であった。学習データの少なさと計算資源の制限で深層学習が若干不利であったが、さらなる精度向上を期待できる結果であった。
一方で、体の動きの特徴量を用いる手法では、深睡眠と浅い睡眠のように顔の表情やまぶたの下の眼球運動の有無を必要とする分類が課題である。そこで、新生児の顔領域を抽出して、表情変化の特徴量を捉えて分類する手法を検討した。提案手法は、顔ROI位置の正規化手法，HOGおよび勾配特徴に基づく特徴抽出手法、および機械学習を用いた新生児覚醒状態分類手法から構成される。7人の新生児を撮影した14枚の動画像を用いた比較実験の結果、HOG特徴量と平均化マージを用いた重み付きSVMが最も高い分類性能（micro-F1 0.732）を達成し、その成果をJournal of Advanced Computational Intelligence and Intelligent Informaticsで発表した。現在、BrazeltonのNBASに基づく睡眠覚醒状態の自動分類手法は存在せず、本研究の成果により新生児や看護師に負担をかけずに継続的・客観的な観測が可能になることが期待できる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実績の概要で述べたように、いくつかの課題で結果が出ており、顔領域を自動抽出して睡眠覚醒状態を自動分類する研究の成果を査読付の論文誌で発表することができたため。
|
| Strategy for Future Research Activity |
NBASの睡眠覚醒状態分類には、体の動きと表情の両方の情報が必要となる。両方の特徴ベクトルを連結したり、それぞれの分類結果を統合するなどして、さらなる分類精度の向上を目指す。また深層学習を用いる動画分類についても、新たに撮影した動画を用いて学習データを追加・拡張し、トランスフォーマーに基づく手法を提案して行きたい。
|
| Causes of Carryover |
コロナ禍で新規の動画データの撮影ができず、本格的な計算サーバの購入を見送った。今年度に改めて計算サーバを購入する。
|
Research Products
(1 results)
