睡眠時動画解析による生体情報抽出法の開発と睡眠状態変動推定へのその応用

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K12773
• Research Institution: Kyushu Sangyo University
• Principal Investigator: 前田 誠 九州産業大学, 理工学部, 講師 (00274556)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 睡眠動画解析 / ヘルスケアモニタリング / 独立成分分析 / 心拍間隔抽出 / 寝顔形状解析 / 形状記述 / 次元圧縮 / クラスタリング

Outline of Annual Research Achievements

令和２年度は、以下の２つの計画について研究を進めた。
【計画１:数学モデルに基づく赤外線動画からの生体情報抽出法の開発】
開発中である独立成分分析に基づく心拍情報抽出法において，動画処理におけるフレーム間隔がなるべく一定となるように改良した。また、抽出した心拍由来の独立信号成分から得られるピーク間隔時系列データについて、線形補間リサンプリングにより等間隔時系列データに変換した後に解析することで心拍間隔情報の抽出精度が大幅に向上することを確認した。さらに、検出した顔領域において特徴抽出に用いる小領域の選び方が心拍間隔情報の抽出精度にどのように影響するかについて調査した。5、7、9領域の3パターンで比較したところ、9領域の場合、心拍由来の独立信号成分が複数のチャンネルにまたがって出現する傾向が強いことが確認された。逆に5領域とした場合、特定の独立信号成分にのみ心拍由来の成分が強く出現する傾向にあるため、その後の心拍間隔情報の抽出精度が向上することが確認できた。5小領域の選択箇所の最適化についてはさらに検証を進める必要がある。
【計画２:顔形状変化に関する特徴抽出法の開発】
3次元顔形状の解析を実施する前に、まずは顔形状の2次元特徴抽出手法の開発に取り組んだ。睡眠中の赤外線動画から10秒おきに顔領域画像を記録し、17点の顔の特徴点を検出し、それらの幾何学的関係を距離比により記述する方法を考案した。水平、垂直の2方向の基準量を選び、これらとの距離比を計算するため1枚の顔領域画像は272次元ベクトルで表現されることになる。試行的に、これを4次元に圧縮し，クラスタリングを試みたところ，睡眠経過時間とともに意味のあるクラスタが構成できることが確認できた．これが実際の睡眠とどのような関係にあるかについて詳細な検討が必要であるが，各時刻における睡眠状態との関連付けが可能ではないかと考えられる。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

初年度に計画していた各種手法の開発については順調に進行していると考えているが、その評価実験が遅れている。令和２年度は新型コロナウィルスの感染拡大防止のため，学内への入構規制や深夜時間帯の施設利用が制限されていたために終夜睡眠実験が実施できなかった。そのため、本年度導入した赤外線カメラを使用した新規の実験が実施できていないことからやや遅れていると判断している。
令和２年度はシミュレーションによる検証や、一昨年度に実施した約1時間の昼寝実験の動画データを用いて生体情報抽出法のアルゴリズム開発やその改良手法の評価に取り組んだ。その結果、心拍情報抽出においては開発手法の有効性を示す解析結果が得られており、これはおおいに評価できると考えている。しかし、被験者1名分の実験データのみによる検証であり，論文をまとめるまでの十分なデータが集まっていないのが現状である．もう少し被験者を増やして検証していく必要がある。
一方、アルゴリズムの面でいえば、寝顔形状の2次元特徴抽出手法の開発に取り組めており、特徴空間の次元圧縮を行うことで、睡眠状態をいくつかのクラスに関連付けられるのではないかと予想している。ただし、途中で特徴点を追えなくなると解析が中断してしまう問題があるため、特徴点検出に依存しない3次元形状の特徴抽出手法の開発も進めたい。

Strategy for Future Research Activity

令和３年度では６月～９月に睡眠実験を実施する計画であるが、現在の新型コロナの感染状況では令和３年度も何らかの制限が出る可能性があるため，入構規制の影響を受けにくい昼の時間帯を利用した昼寝実験を代用するなどについても検討し、被験者を増やしてアルゴリズムの検証を行うことに注力したい。
また、数学モデルに基づく赤外線動画からの生体情報抽出法の開発においては、現在開発中の独立成分分析に基づく心拍情報抽出法では、心拍由来の独立信号成分を特定する処理が要求されため、この自動化によるアルゴリズムの改良について検討したい。
また並行してLSTM(Long Short-Term Memory)モデルを用いて時系列データを学習することで心拍間隔を予測するモデルの考案にも取り組みたい。独立成分分析における心拍に由来する成分を抽出する処理は線形変換で実現できるため、原理的にはこれを機械学習によりモデル化できれば同様のことが実施できると予想している。そこで、入出力の時系列データを学習できるLSTMモデルを拡張した新たな数学モデルを開発し、心拍情報と呼吸情報の同時抽出に取り組む予定である。
一方、寝顔形状の2次元特徴抽出手法の開発においては、特徴空間の次元圧縮を行うことで、睡眠状態をいくつかのクラスタに分割できる手ごたえを感じている。長期的な睡眠を観察することで、これらのクラスタと睡眠との関連付けができれば様々な応用が期待できるのではないかと予想している。今後、長期的な睡眠実験（終夜睡眠もしくは昼寝）を通して詳細な考察をしていきたい。

Causes of Carryover

令和２年度は国際会議に投稿していた論文のデータ検証が不十分であったため不採択となった。そのため予定していた旅費の支出がなかった。また、新型コロナウィルスの感染拡大防止のため，学内への入構規制や深夜時間帯の施設利用が制限されていたために終夜睡眠実験が実施できなかった。このため、実験にかかわる人件費・謝金の支出もなかった。これらの理由により次年度使用額（404,000円）が発生した。
令和３年度では、６月～９月にかけて終夜睡眠実験を実施する計画である。一方で、深夜の実験が困難なようであれば昼寝実験を代用し、多くの被験者から睡眠動画を取得する予定である。比較的長期的な睡眠データが取得できたら、その機械学習による心拍、呼吸、睡眠状態に関する予測モデルの構築も目指したい。そのため、GPUを搭載したワークステーションを導入する予定である。