Real-time Emotion Analysis during Sleep using Sleep Sensing Stream Systems
| Project/Area Number |
22K19802
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
北川 博之 筑波大学, 国際統合睡眠医科学研究機構, 教授 (00204876)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
阿部 高志 筑波大学, 国際統合睡眠医科学研究機構, 准教授 (00549644)
堀江 和正 筑波大学, 計算科学研究センター, 助教 (60817112)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 睡眠 / ストリーム処理 / 情動推定 / リアルタイム |
|---|
| Outline of Research at the Start |
睡眠は人々の毎日の生活に深く関わる行動であるが，睡眠の基本的なメカニズムは現在まだ解明の途上にある．本研究では，ポジティブ（楽しい，うれしい等），ネガティブ（悲しい，怖い等）といった睡眠時のリアルタイム情動推定を目指す．これにより，睡眠の深さといった従来の指標とは異なる視点から睡眠を捉えることが可能となる．一方，本研究の遂行には，様々な分析処理，対象データ，フィードバック刺激等の追加・変更等を柔軟に行えるリアルタイムデータ処理基盤が必要である．そこで本研究では，睡眠分析用リアルタイム睡眠センシングストリーム基盤を研究開発し，それを活用してこれらの研究を推進する．
|
| Outline of Annual Research Achievements |
本研究課題では，研究代表者らのこれまでの睡眠データ分析研究を発展させ，睡眠時のリアルタイム情動推定を行う．これは，睡眠中の脳波を用いて，ポジティブ・ネガティブな情動をリアルタイムで推定するものである．これによって，睡眠の深さといった従来の指標とは異なる視点から睡眠を捉えることが可能となり，睡眠医科学の新たな領域の開拓につながることが期待できる．一方，本研究の遂行には，様々な分析処理，対象データ，フィードバック刺激等の追加・変更等を柔軟に行える柔軟なリアルタイムデータ処理基盤が必要である．そこで本研究では，睡眠分析用リアルタイム睡眠センシングストリーム基盤を研究開発し，それを活用してヒトの睡眠時リアルタイム情動推定を行う．
初年度である2022年度は，以下のような研究成果を得た．
(1) リアルタイム睡眠センシングストリーム基盤の研究開発：脳波計測デバイスを用いたシステムの開発に先立って，ファイルに格納された脳波データを疑似的にリアルタイム送信し機械学習モデルを用いて睡眠ステージ判定を行うサーバ・クライアント型のプロトタイプシステムを開発し，処理速度や判定精度に関する予備的な検討を行った．
(2) 睡眠時リアルタイム情動推定：①オフラインでの高精度な睡眠ステージ判定モデルの構築を行った．5クラスの単一モデルを使用した場合AUROCは0.948であったが，層別2クラスモデルを組み合わせることで，平均0.97のAUROCを達成した．②覚醒時の感情価を推定するモデルを，動画視聴または画像視聴中の脳波データを用いて構築した．感情喚起動画視聴中の感情価判別ではAUROCは0.84であり，画像視聴時には0.62であった．これにより，夢の感情価のモデル構築のための学習データの取得には，動画を用いる方が適していることが明らかになった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
現在までの進捗状況については既に述べた通りであり，それに基づき上記の通り判定する．それぞれの進捗についての補足説明を以下に加える．
(1) リアルタイム睡眠センシングストリーム基盤の研究開発：PSGデータを対象としたリアルタイム睡眠ステージ判定システムのプロトタイプを開発した．これは，あらかじめ取得済のPSGデータ（EEG, EOG, EMG）をファイルから順次読み出しTCP/IPにて送信するクライアントと，同データを受信しリアルタイムで睡眠ステージ判定を行うサーバからなるシステムである．サーバ上の睡眠ステージ判定モデルとしては，研究代表者らが開発したSleep-CAMモデルを応用したモデルを用い，移動窓方式を用いて指定したスライド間隔でリアルタイム判定を行う．予備実験により，十分リアルタイム性を有する判定速度と静的な解析と同程度の判定精度を維持できる可能性を示唆する結果を得た．
(2) 睡眠時リアルタイム情動推定： 覚醒時に感情喚起動画を視聴している際の脳波データを学習サンプルとして活用し，覚醒時の感情判定モデルの開発と，睡眠中の夢の感情価をオフラインで判別する深層学習モデルの構築を目指して，以下の２点の研究を実施した．
①100人の被験者および6つのEEGチャンネルから構成される公開データセットを用いて，CNNによる自動的に選択される特徴量を用いた睡眠ステージの自動判定の性能改善を目指して検討した．その結果，高精度な睡眠ステージ自動判定モデルの構築に成功した．
②脳波を用いて覚醒時の感情価を推定する際に，感情を喚起する動画と画像のどちらを見ている時のデータが推定精度が高いかを検討した．その結果，動画を用いた場合の方が感情価の推定が高精度になることを明らかにした．
|
| Strategy for Future Research Activity |
今後は，昨年度の研究成果をより発展されるための研究を行う．特に，以下の点に注力する．
(1) アルタイム睡眠センシングストリーム基盤の研究開発：現在実験では従来の30秒固定長のエポックを単位とする正解データを用いているが，本研究が目指すリアルタイム睡眠データ解析においては，従来のエポックにとらわれない睡眠ステージ判定を行うことになる．このため，精度評価に用いる正解データについてもエポックフリーなステージ判定を用いた実験が望ましいため，この方向での研究を推進する．また併せて，特定の睡眠ステージの開始と終了を的確に判定するための手法も開発する．さらに，本研究で用いる高精度脳波計測デバイスへの対応，リアルタイム刺激提示機構の実現等についても検討を進める．
(2) 睡眠時リアルタイム情動推定：レム睡眠中の脳波記録と夢見報告を行ったオープンデータが公開された ("DEED: A Multimodel Dataset for Dream Emotion Classification")．このデータセットには睡眠時脳波と夢の感情価を同時に取得している．2023年度には，このデータを利用して，脳波と機械学習による夢の感情価の推定が可能かどうかを検討する．ただし，このデータセットでは６部位の脳波しか公開していない．また，レム睡眠中の夢見報告だけでは，機械学習に必要となるデータ量を十分に確保できない．そこで，覚醒時の感情喚起動画視聴時の高密度脳波(128ch)のデータを学習サンプルとして取得するとともに，睡眠時の夢見報告時の高密度脳波記録を行い，独自のデータセットを構築する．
|
Report
(1 results)
Research Products
(23 results)
-
-
-
[Journal Article] Peripheral blood flow estimated by laser doppler flowmetry provides additional information about sleep state beyond that provided by pulse rate variability2023
Author(s)
Fan, Z., Suzuki, Y., Jiang, L., Okabe, S., Honda, S., Endo, J., Watanabe, T.
-
Journal Title
Frontiers in Physiology
Volume: 14
DOI
Related Report
Peer Reviewed / Open Access
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Efficacy of binaural beats with a frequency in the range of the slow oscillations on slow wave sleep induction2022
Author(s)
Fan, Z., Zhu, Y., Suzuki, C., Suzuki, Y., Watanabem, Y., Endo, J., Watanabe, T., Abe, T
Organizer
日本睡眠学会第47回定期学術集会
Related Report
-
-
-
