2022 Fiscal Year Research-status Report
睡眠時動画解析による生体情報抽出法の開発と睡眠状態変動推定へのその応用
| Project/Area Number |
20K12773
|
|---|
| Research Institution | Kyushu Sangyo University |
|---|
Principal Investigator |
前田 誠 九州産業大学, 理工学部, 講師 (00274556)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 睡眠動画解析 / ヘルスケアモニタリング / 独立成分分析 / リカレントニューラルネットワーク / 心拍変動解析 / 寝顔形状解析 / 次元圧縮 / クラスタリング |
|---|
| Outline of Annual Research Achievements |
令和４年度は以下の２つの計画について研究を進めた。
【計画１: 数学モデルに基づく赤外線動画からの自律神経リズム抽出法の開発】
LSTM(Long Short-Term Memory)モデルに基づく心拍間隔を予測する数学モデルの開発にむけ、オートエンコーダを用いた時系列予測モデルの実装に取り組んだ。しかし、学習に要する計算時間の割に予測精度が期待したほど良くならず応用するまでには至っていない。一方、赤外線動画から得られる多チャンネルの時系列データに対して、独立成分分析を用いて心拍間隔を予測する数学モデルでは、ピーク間隔時系列を取得する際、等間隔データにリサンプリング処理した上で解析することで、心拍間隔の時間変動の推定精度が大幅に向上することを確認した。その結果、心拍変動リズムの指標として知られるLF/HFリズムを算出することまで実現できている。このリズムと睡眠リズムとの関係性、寝顔形状の推移との関係性について調査を深める段階にある。
【計画２: 顔形状の特徴記述法の改良とその時間変動に関する特徴抽出】
昨年開発した寝顔形状の特徴記述法に用いた顔の特徴点抽出法では特徴点の位置ずれの影響が大きいことが課題であった。そこで、MediaPipe Face Meshライブラリを用いた特徴点抽出を行う方法を用いた。特徴点間のメッシュ情報を活用できる利点があり、面積比による寝顔形状の特徴記述法を開発した。現在、検証を進めている段階であるが、従来法に比べて余計な変動が少なく寝顔形状の推移を調査しやすい指標が得られているのではないかと評価している。合わせて前年度開発したクラスタリング手法を用いることで各クラスの時間的推移を可視化し寝顔形状の状態の定量化を進めている段階である。これより異なる実験日間での寝顔形状の類似性や相関などを深く調査することで、睡眠や体調との関係性について解析していく必要がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和４年度に実施予定であった終夜睡眠実験は実験者の新型コロナウィルス感染などの影響もあり実施できなかった。そのため、令和３年度取得した実験データを解析することでアルゴリズムの評価を進めた。この影響もあり、研究期間を1年延長させていただくことにした。
赤外線動画からの自律神経リズム抽出法の開発においては、独立成分分析を用いた心拍間隔推定では高精度な推定が可能であることを確認しており、この点では順調に開発できている。一方、長時間睡眠動画に対する解析では、全時間帯を自動解析できるように開発したものの、寝返りなどの影響で顔領域の誤検出が出現する時間もあり、安定して顔領域を自動選択できる状況になっていない。効率的な解析のためには必要な技術であり、引き続き開発を進めたい。
また、長時間データへの独立成分分析の適用においては、データが持つ非定常性の影響もあり、独立成分に十分に分解できない時間帯があることを確認している。これはアルゴリズムが強定常、あるいは弱定常を前提にしているためであり、適切な時分割法を取り入れる必要があると考えている。
|
| Strategy for Future Research Activity |
令和5年度では、これまで解析することができていない顔形状の長期的特徴変化と睡眠状態との関係性の調査を実施するため、短時間睡眠（昼寝）実験を6月～11月にかけて実施する予定である。
まずは長時間の睡眠動画を安定して解析できるソフトウェアの開発を急ぎたい。現在の顔検出手法と併用しながら対象領域のトラッキング手法を改良することで終夜睡眠実験データの安定解析を目指したい。一方、短時間睡眠であれば、現在のアルゴリズムでも全時間帯で安定した自動解析可能な状況であるため、短時間睡眠時の心拍変動解析を進めたい。睡眠リズムの可視化を進める予定である。また、短時間の昼寝実験データを長期に渡って取得することで、異なる実験日間での寝顔形状の類似性や相関などを詳しく調査し、睡眠や体調との関係性について深く解析していく予定にしている。特に、寝苦しさ、歯ぎしり、開口睡眠などが特徴的な顔形状の変化に注目し、それらと体調の関係性について調べる予定である。実験時にはアンケートで体調やストレス等を別途調査することにより、その形状状態との関係性について調査する予定である。
|
| Causes of Carryover |
令和４年度は実験者のコロナ感染などもあり、実験が実施できなかったため、謝金などの支出がなかった。そのため計画を変更し、令和３年度の終夜睡眠実験データを用いて解析を進めた。また、参加した国内学会もオンライン開催であったため、旅費の支出はなかった。これらの理由により次年度使用額（671,574円）が発生した。
令和５年度では、6月～11月にかけて短時間睡眠実験を実施する計画である。実験を長期に渡って回数を増やして実施する予定である。その分、人件費・謝金を増分し、研究を推進させたい。
|
