2021 Fiscal Year Research-status Report
睡眠時動画解析による生体情報抽出法の開発と睡眠状態変動推定へのその応用
| Project/Area Number |
20K12773
|
|---|
| Research Institution | Kyushu Sangyo University |
|---|
Principal Investigator |
前田 誠 九州産業大学, 理工学部, 講師 (00274556)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 睡眠動画解析 / ヘルスケアモニタリング / 独立成分分析 / リカレントニューラルネットワーク / 心拍変動解析 / 寝顔形状解析 / 次元圧縮 / クラスタリング |
|---|
| Outline of Annual Research Achievements |
令和3年度は以下の２つの計画について研究を進めた。
【計画１:数学モデルに基づく赤外線動画からの心拍間隔リズム抽出法の開発】
赤外線動画から得られる多チャンネルの時系列データに対してLSTMモデルを用いた心拍間隔を予測する数学モデルの開発に取り組んだ。独立成分分析と等価な機構を持たせる目的で、LSTM層および全結合層からなるモデルを考案した。しかし、実装段階で複数の問題が生じたため、その解決策を検討している段階である。第一の問題は、赤外線動画から取得される時系列データと心電図データのサンプリング間隔が異なることである。これに対しスプライン補間を適用しリサンプリングする方法を構築した。現在、この方法を基に入出力データのサンプリング間隔を合わせることで、赤外線動画から得られる多チャンネルの任意の時系列データに対して心拍波形を予測できないか評価実験を行っている段階である。
【計画２:顔形状の特徴記述とその時間変動に関する各種解析】
昨年開発した寝顔形状の特徴記述法を用いてある被験者の一晩の睡眠について解析を行った。17点の顔特徴点の幾何学的関係を距離比として記述する方法であるため、特徴量は高次元となる。主成分分析の解析結果から4次元部分空間に次元圧縮を行って解析したところ、類似する寝顔形状を持つ画像は部分空間ではクラスタを構成することを確認した。そのため、クラスタリングを実施することで各クラスの時間的推移を可視化したところ、睡眠初期とその後の睡眠中期まで安定した寝顔形状を示していることが確認できた。また、その区間でも何度か別の寝顔形状を示していることも確認できた。つまり、このことは寝顔形状の状態を数値化できるとともに熟睡度や寝苦しさ等を表現できる可能性を秘めていると言える。そのため、異なる実験日間での寝顔形状の類似性や相関などを調査し、睡眠や体調との関係性について解析している段階である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
昨年度は新型コロナウィルスの感染拡大防止のため，学内への入構規制や深夜時間帯の施設利用が制限されていたために実験が実施できなかったが、令和3年度は感染拡大に十分に配慮しながら７月～９月にかけて2名の被験者に対し間隔をあけて3回の終夜睡眠実験を実施することができた。そのため、ひとまず解析すべき実験データを収集することができている状況にある。一方で、長時間の睡眠動画を解析するソフトウェアの開発がやや遅れている。長時間の睡眠動画に対して顔検出に失敗する時間帯があり、例えば顔形状の時間変動を解析する研究においては、一部は自動化できている時間帯はあるものの、顔検出の成否の確認のため人手を介して実時間で作業する必要がある。中には人的ミスによる見落としなどの時間帯も確認されており、安定した解析を行えていない。そのため、現在の顔検出手法と併用して、対象領域のトラッキング機能の追加も検討しているところである。
また、赤外線動画から得られる多チャンネルの任意の時系列データから心拍波形を予測できる数学モデルについては検証している段階であるが、並行して心拍間隔リズム抽出法についても開発を進めている。現在は心電図データから心拍変動解析を適用することによりLF/HFリズムを抽出することができており、最終的には上記の数学モデルとの連携を考慮した睡眠時の自律神経指標の変動リズム推定法を検討したい。
|
| Strategy for Future Research Activity |
初年度の遅れを取り戻すべく、令和４年度においても７月～９月に終夜睡眠実験を実施する計画である。また、寝顔形状の長期的な時間変動について考察を深めるため、短時間の昼寝実験についても回数を増やして実施していく予定である。
終夜睡眠実験データに対しては、長時間の睡眠動画を解析できるソフトウェアの開発を急ぎたい。現在の顔検出手法と併用しながら対象領域のトラッキング機能を追実装することで、全時間帯で自動解析可能な形式に拡張していく予定である。
一方、このソフトウェアの開発を進めつつも、短時間の昼寝実験データであれば全時間帯で自動解析が可能であるため、自律神経指標の変動リズム推定や顔形状の時間変動に関する解析を進める予定である。昼寝実験のデータを通して、赤外線動画から得られる多チャンネルの任意の時系列データから心拍波形を予測できる数学モデルについて検証を進め、この進捗に応じて、心電図データの心拍変動解析から得られるLF/HFリズムを学習データに用いることにより睡眠時の自律神経指標の変動リズム推定法を確立する予定である。また、短時間の昼寝実験データを長期に渡って取得することで、異なる実験日間での寝顔形状の類似性や相関などを詳しく調査し、睡眠や体調との関係性について深く解析していく予定にしている。
|
| Causes of Carryover |
令和３年度は動画解析の自動化に問題が生じ予定通りには研究が進まなかった。そのため予定していた国際会議には投稿できておらず、予定していた旅費の支出がなかった。また、国内学会においてオンライン開催であったため、旅費の支出はなかった。これらの理由により次年度使用額（567,474円）が発生した。
令和4年度では、7月～９月にかけて終夜睡眠実験を実施する計画である。また、短時間昼寝実験を長期において回数を増やして実施する予定である。その分、人件費・謝金を増分し、研究を推進させたい。
|
