Real-time Emotion Analysis during Sleep using Sleep Sensing Stream Systems
| Project/Area Number |
22K19802
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
北川 博之 筑波大学, 国際統合睡眠医科学研究機構, 教授 (00204876)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
阿部 高志 筑波大学, 国際統合睡眠医科学研究機構, 准教授 (00549644)
堀江 和正 筑波大学, 計算科学研究センター, 助教 (60817112)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 睡眠 / ストリーム処理 / 情動推定 / リアルタイム |
|---|
| Outline of Research at the Start |
睡眠は人々の毎日の生活に深く関わる行動であるが，睡眠の基本的なメカニズムは現在まだ解明の途上にある．本研究では，ポジティブ（楽しい，うれしい等），ネガティブ（悲しい，怖い等）といった睡眠時のリアルタイム情動推定を目指す．これにより，睡眠の深さといった従来の指標とは異なる視点から睡眠を捉えることが可能となる．一方，本研究の遂行には，様々な分析処理，対象データ，フィードバック刺激等の追加・変更等を柔軟に行えるリアルタイムデータ処理基盤が必要である．そこで本研究では，睡眠分析用リアルタイム睡眠センシングストリーム基盤を研究開発し，それを活用してこれらの研究を推進する．
|
| Outline of Annual Research Achievements |
研究代表者らのこれまでの睡眠データ分析研究を発展させ，睡眠時のリアルタイム情動推定を行う．これは，睡眠中の脳波を用いて，ポジティブ・ネガティブな情動をリアルタイムで推定するものである．これによって，睡眠の深さといった従来の指標とは異なる視点から睡眠を捉えることが可能となり，睡眠医科学の新たな領域の開拓につながることが期待できる．一方，本研究の遂行には，様々な分析処理，対象データ，フィードバック刺激等の追加・変更等を柔軟に行える柔軟なリアルタイムデータ処理基盤が必要である．そこで本研究では，睡眠分析用リアルタイム睡眠センシングストリーム基盤を研究開発し，それを活用してヒトの睡眠時リアルタイム情動推定を行う．
2023年度は前年度の成果を発展させ，以下のような研究成果を得た．
(1) リアルタイム睡眠センシングストリーム基盤の研究開発：疑似的リアルタイム睡眠ステージ判定システムを発展させ，家庭用簡易脳波計から脳波データを実際にリアルタイム送信し睡眠ステージ判定を行うシステムを開発し，処理速度や判定精度に関する検討を行った．また，本研究課題では，特にレム睡眠の検出が重要となるが，PSGデータを用いてレム睡眠をエポックフリーでリアルタイム検出するためのモデルを開発した．
(2) 睡眠時情動推定：脳波を用いて睡眠中の夢の有無を識別するための機械学習モデルの開発を目的として，一般公開されているデータセットを用いてモデルを構築したところ，0.85以上の精度で夢の有無を弁別することに成功した．次に，情動要素が現れやすいレム睡眠中も含めた脳波と夢見の情動データを取得するため，健康な参加者7名（27.0±1.5歳）から2夜にわたって128チャンネルのEEGキャップを装着し，脳波信号と夢見報告を記録することで，独自のデータセットを構築した．現在，このデータセットを用いた解析を進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
現在までの進捗状況については既に述べた通りであるが，さらに補足説明を以下に加える．
(1) リアルタイム睡眠センシングストリーム基盤の研究開発：家庭用簡易脳波計からTCP/IP通信を用いて連続的に睡眠データを取得し，リアルタイム睡眠ステージ判定システムのプロトタイプを開発した．これは，家庭用簡易脳波計から脳波データを順次読み出し送信するクライアントと，同データを受信しリアルタイムで睡眠ステージ判定を行うサーバからなるシステムである．サーバ上の睡眠ステージ判定モデルは，移動窓方式を用いて指定したスライド間隔でステージ判定を行う．本システムを用いた検証によって，毎秒単位程度の間隔でステージ判定を行えることを確認した．また，PSGデータにおいてエポックフリーでレム睡眠を判定した学習データを用いて，レム睡眠の開始・終了点を検出するためのモデルを複数開発し，それぞれの長所・短所等の検討を進めた．
(2) 睡眠時情動推定： 脳波を用いて睡眠中の夢の有無を自動識別するための機械学習モデルの開発を目的として，一般公開されているデータセットを用いて、58チャンネルの脳波を解析した．脳波データから作成した機械学習モデルは，0.85以上の精度で夢見の有無を弁別することに成功した．しかし，このデータセットは入眠期のデータがほとんどであり、夢の情動に関する報告を得ていない．そこで，情動要素が現れやすいレム睡眠中も含めた脳波と夢見の情動データを取得するため，現在，独自のデータセットを構築している．健康な参加者7名（27.0±1.5歳）から2夜にわたって128チャンネルの脳波信号を記録した．各夜には，感情を刺激する40秒間の無音のビデオクリップを視聴させ，その後睡眠中に何度も覚醒させて夢の感情を報告させた．データセットは，728のビデオ視聴時データと146の夢の報告から構成されている．
|
| Strategy for Future Research Activity |
今後は，これまでの研究成果をより発展されるための研究を行う．特に，以下の点に注力する．
(1) リアルタイム睡眠センシングストリーム基盤の研究開発：家庭用簡易脳波計から実際に脳波データをリアルタイム送信し睡眠ステージ判定を行うシステムの開発に成功したことで，システムの実現可能性や基本的性能を検証することができた．また，従来のエポックにとらわれずにレム睡眠の開始・終了点を検出することについても，一定の精度を有するモデルを構築可能であるとの見通しを得ることができた．本研究における睡眠時情動推定のためには，高精度脳波計を用いた睡眠データの取得が必要である．今後は，これまでに得られた成果を統合し，高精度脳波計からリアルタイムで睡眠データを取得し，レム睡眠の開始・終了点を検出するシステムの実現を目指す．また，レム睡眠時におけるリアルタイム刺激提示機構の実現についても検討を進める．
(2) 現在，独自に取得したデータセットは用いて，EEGNeXと呼ばれる畳み込みニューラルネットワークを使用した二値分類モデル（感情価の高低と覚醒度の高低）を作成し，5分割交差検証を用いて性能を評価している．このモデルの性能は，夢とビデオクリップの両方において高い分類精度を示した（夢の感情価の平均精度は99.3%±0.6，ビデオクリップの感情価は98.6%±0.5，夢の覚醒度は97.8%±0.6，ビデオクリップの覚醒度は98.5%±0.6）．しかし，この予備的な分析では，トレーニング，検証，およびテストのデータに，同一参加者の同一エポックからのデータが含まれている場合があり，それが結果に影響を与えている可能性がある．そこで，次の解析では，参加者，エポック，セッションごとにデータを分けるモデルの構築を行う．また，実験参加者数を増やすとともに，より少ない電極数で分類するモデルの構築を行う．
|
Report
(2 results)
Research Products
(40 results)
-
-
-
-
-
-
-
-
-
-
[Journal Article] Peripheral blood flow estimated by laser doppler flowmetry provides additional information about sleep state beyond that provided by pulse rate variability2023
Author(s)
Fan, Z., Suzuki, Y., Jiang, L., Okabe, S., Honda, S., Endo, J., Watanabe, T.
-
Journal Title
Frontiers in Physiology
Volume: 14
DOI
Related Report
Peer Reviewed / Open Access
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Efficacy of binaural beats with a frequency in the range of the slow oscillations on slow wave sleep induction2022
Author(s)
Fan, Z., Zhu, Y., Suzuki, C., Suzuki, Y., Watanabem, Y., Endo, J., Watanabe, T., Abe, T
Organizer
日本睡眠学会第47回定期学術集会
Related Report
-
-
-
