• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Real-time Emotion Analysis during Sleep using Sleep Sensing Stream Systems

Research Project

Project/Area Number 22K19802
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionUniversity of Tsukuba

Principal Investigator

北川 博之  筑波大学, 国際統合睡眠医科学研究機構, 教授 (00204876)

Co-Investigator(Kenkyū-buntansha) 阿部 高志  筑波大学, 国際統合睡眠医科学研究機構, 准教授 (00549644)
堀江 和正  筑波大学, 計算科学研究センター, 助教 (60817112)
Project Period (FY) 2022-06-30 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywords睡眠 / ストリーム処理 / 情動推定 / リアルタイム
Outline of Research at the Start

睡眠は人々の毎日の生活に深く関わる行動であるが,睡眠の基本的なメカニズムは現在まだ解明の途上にある.本研究では,ポジティブ(楽しい,うれしい等),ネガティブ(悲しい,怖い等)といった睡眠時のリアルタイム情動推定を目指す.これにより,睡眠の深さといった従来の指標とは異なる視点から睡眠を捉えることが可能となる.一方,本研究の遂行には,様々な分析処理,対象データ,フィードバック刺激等の追加・変更等を柔軟に行えるリアルタイムデータ処理基盤が必要である.そこで本研究では,睡眠分析用リアルタイム睡眠センシングストリーム基盤を研究開発し,それを活用してこれらの研究を推進する.

Outline of Annual Research Achievements

研究代表者らのこれまでの睡眠データ分析研究を発展させ,睡眠時のリアルタイム情動推定を行う.これは,睡眠中の脳波を用いて,ポジティブ・ネガティブな情動をリアルタイムで推定するものである.これによって,睡眠の深さといった従来の指標とは異なる視点から睡眠を捉えることが可能となり,睡眠医科学の新たな領域の開拓につながることが期待できる.一方,本研究の遂行には,様々な分析処理,対象データ,フィードバック刺激等の追加・変更等を柔軟に行える柔軟なリアルタイムデータ処理基盤が必要である.そこで本研究では,睡眠分析用リアルタイム睡眠センシングストリーム基盤を研究開発し,それを活用してヒトの睡眠時リアルタイム情動推定を行う.
2023年度は前年度の成果を発展させ,以下のような研究成果を得た.
(1) リアルタイム睡眠センシングストリーム基盤の研究開発:疑似的リアルタイム睡眠ステージ判定システムを発展させ,家庭用簡易脳波計から脳波データを実際にリアルタイム送信し睡眠ステージ判定を行うシステムを開発し,処理速度や判定精度に関する検討を行った.また,本研究課題では,特にレム睡眠の検出が重要となるが,PSGデータを用いてレム睡眠をエポックフリーでリアルタイム検出するためのモデルを開発した.
(2) 睡眠時情動推定:脳波を用いて睡眠中の夢の有無を識別するための機械学習モデルの開発を目的として,一般公開されているデータセットを用いてモデルを構築したところ,0.85以上の精度で夢の有無を弁別することに成功した.次に,情動要素が現れやすいレム睡眠中も含めた脳波と夢見の情動データを取得するため,健康な参加者7名(27.0±1.5歳)から2夜にわたって128チャンネルのEEGキャップを装着し,脳波信号と夢見報告を記録することで,独自のデータセットを構築した.現在,このデータセットを用いた解析を進めている.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

現在までの進捗状況については既に述べた通りであるが,さらに補足説明を以下に加える.
(1) リアルタイム睡眠センシングストリーム基盤の研究開発:家庭用簡易脳波計からTCP/IP通信を用いて連続的に睡眠データを取得し,リアルタイム睡眠ステージ判定システムのプロトタイプを開発した.これは,家庭用簡易脳波計から脳波データを順次読み出し送信するクライアントと,同データを受信しリアルタイムで睡眠ステージ判定を行うサーバからなるシステムである.サーバ上の睡眠ステージ判定モデルは,移動窓方式を用いて指定したスライド間隔でステージ判定を行う.本システムを用いた検証によって,毎秒単位程度の間隔でステージ判定を行えることを確認した.また,PSGデータにおいてエポックフリーでレム睡眠を判定した学習データを用いて,レム睡眠の開始・終了点を検出するためのモデルを複数開発し,それぞれの長所・短所等の検討を進めた.
(2) 睡眠時情動推定: 脳波を用いて睡眠中の夢の有無を自動識別するための機械学習モデルの開発を目的として,一般公開されているデータセットを用いて、58チャンネルの脳波を解析した.脳波データから作成した機械学習モデルは,0.85以上の精度で夢見の有無を弁別することに成功した.しかし,このデータセットは入眠期のデータがほとんどであり、夢の情動に関する報告を得ていない.そこで,情動要素が現れやすいレム睡眠中も含めた脳波と夢見の情動データを取得するため,現在,独自のデータセットを構築している.健康な参加者7名(27.0±1.5歳)から2夜にわたって128チャンネルの脳波信号を記録した.各夜には,感情を刺激する40秒間の無音のビデオクリップを視聴させ,その後睡眠中に何度も覚醒させて夢の感情を報告させた.データセットは,728のビデオ視聴時データと146の夢の報告から構成されている.

Strategy for Future Research Activity

今後は,これまでの研究成果をより発展されるための研究を行う.特に,以下の点に注力する.
(1) リアルタイム睡眠センシングストリーム基盤の研究開発:家庭用簡易脳波計から実際に脳波データをリアルタイム送信し睡眠ステージ判定を行うシステムの開発に成功したことで,システムの実現可能性や基本的性能を検証することができた.また,従来のエポックにとらわれずにレム睡眠の開始・終了点を検出することについても,一定の精度を有するモデルを構築可能であるとの見通しを得ることができた.本研究における睡眠時情動推定のためには,高精度脳波計を用いた睡眠データの取得が必要である.今後は,これまでに得られた成果を統合し,高精度脳波計からリアルタイムで睡眠データを取得し,レム睡眠の開始・終了点を検出するシステムの実現を目指す.また,レム睡眠時におけるリアルタイム刺激提示機構の実現についても検討を進める.
(2) 現在,独自に取得したデータセットは用いて,EEGNeXと呼ばれる畳み込みニューラルネットワークを使用した二値分類モデル(感情価の高低と覚醒度の高低)を作成し,5分割交差検証を用いて性能を評価している.このモデルの性能は,夢とビデオクリップの両方において高い分類精度を示した(夢の感情価の平均精度は99.3%±0.6,ビデオクリップの感情価は98.6%±0.5,夢の覚醒度は97.8%±0.6,ビデオクリップの覚醒度は98.5%±0.6).しかし,この予備的な分析では,トレーニング,検証,およびテストのデータに,同一参加者の同一エポックからのデータが含まれている場合があり,それが結果に影響を与えている可能性がある.そこで,次の解析では,参加者,エポック,セッションごとにデータを分けるモデルの構築を行う.また,実験参加者数を増やすとともに,より少ない電極数で分類するモデルの構築を行う.

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (40 results)

All 2024 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (15 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 15 results,  Open Access: 5 results) Presentation (22 results) (of which Int'l Joint Research: 4 results,  Invited: 2 results) Book (1 results) Remarks (1 results)

  • [Int'l Joint Research] NUST(ノルウェー)

    • Related Report
      2022 Research-status Report
  • [Journal Article] 複合的ストリーム処理に対するトレーサビリティの研究2024

    • Author(s)
      山田 真也, 北川 博之, SalmanAhmed Shaikh, 天笠 俊之, 的野 晃整
    • Journal Title

      日本データベース学会 データドリブンスタディーズ

      Volume: 2 Pages: 1-8

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] CPiX: Real-Time Analytics over Out-of-Order Data Streams by Incremental Sliding-Window Aggregation2023

    • Author(s)
      Savong Bou, Hiroyuki Kitagawa, Toshiyuki Amagasa
    • Journal Title

      2023 IEEE 39th International Conference on Data Engineering (ICDE)

      Volume: - Pages: 3759-3760

    • DOI

      10.1109/icde55515.2023.00310

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Integration of Knowledge Bases and External Information Sources via Magic Properties and Query-driven Entity Linking2023

    • Author(s)
      Yuuki Ohmori, Hiroyuki Kitagawa, Toshiyuki Amagasa, Akiyoshi Matono
    • Journal Title

      Information Integration and Web Intelligence (iiWAS2023)

      Volume: 14416 Pages: 309-324

    • DOI

      10.1007/978-3-031-48316-5_30

    • ISBN
      9783031483158, 9783031483165
    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Efficient Missing Value Imputation by Maximum Distance Likelihood2023

    • Author(s)
      Savong Bou, Toshiyuki Amagasa, Hiroyuki Kitagawa, Salman Ahmed Shaikh, Akiyoshi Matono
    • Journal Title

      2023 IEEE International Conference on Big Data (BigData)

      Volume: - Pages: 331-338

    • DOI

      10.1109/bigdata59044.2023.10386584

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] EEG-based 5- and 2-class CNN for Sleep Stage Classification2023

    • Author(s)
      Moctezuma LA, Abe T, Molinas
    • Journal Title

      IFAC-PapersOnLine

      Volume: 56 Issue: 2 Pages: 3211-3216

    • DOI

      10.1016/j.ifacol.2023.10.1458

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Dream Emotions Identified Without Awakenings by Machine and Deep Learning from Electroencephalographic Signals in REM Sleep2023

    • Author(s)
      Moctezuma LA, Ipanaque F, Molinas M, Abe
    • Journal Title

      2023 IEEE International Conference on Metrology for eXtended Reality, Artificial Intelligence and Neural Engineering (MetroXRAINE)

      Volume: - Pages: 444-449

    • DOI

      10.1109/metroxraine58569.2023.10405808

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Decoding Emotion Dimensions Arousal and Valence Elicited on EEG Responses to Videos and Images: A Comparative Evaluation2023

    • Author(s)
      Moctezuma LA, Sato K, Molinas M, Abe
    • Journal Title

      Brain Informatics

      Volume: - Pages: 71-82

    • DOI

      10.1007/978-3-031-43075-6_7

    • ISBN
      9783031430749, 9783031430756
    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] BPF: A Novel Cluster Boundary Points Detection Method for Static and Streaming Data2023

    • Author(s)
      Vijdan Khalique, Hiroyuki Kitagawa, and Toshiyuki Amagasa
    • Journal Title

      Knowledge and Information Systems

      Volume: - Issue: 7 Pages: 1-32

    • DOI

      10.1007/s10115-023-01854-1

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Peripheral blood flow estimated by laser doppler flowmetry provides additional information about sleep state beyond that provided by pulse rate variability2023

    • Author(s)
      Fan, Z., Suzuki, Y., Jiang, L., Okabe, S., Honda, S., Endo, J., Watanabe, T.
    • Journal Title

      Frontiers in Physiology

      Volume: 14

    • DOI

      10.3389/fphys.2023.1040425

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] PERCLOS-based technologies for detecting drowsiness: current evidence and future directions2023

    • Author(s)
      Abe, T.
    • Journal Title

      SLEEP Advances

      Volume: 4 Issue: 1 Pages: 1-13

    • DOI

      10.1093/sleepadvances/zpad006

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Automated sleep stage scoring employing a reasoning mechanism and evaluation of its explainability2022

    • Author(s)
      Kazumasa Horie, Leo Ota, Ryusuke Miyamoto, Takashi Abe, Yoko Suzuki, Fusae Kawana, Toshio Kokubo, Masashi Yanagisawa, and Hiroyuki Kitagawa
    • Journal Title

      Scientific Reports

      Volume: 12 Issue: 1 Pages: 1-15

    • DOI

      10.1038/s41598-022-16334-9

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] InTrans: Fast Incremental Transformer for Time Series Data Prediction2022

    • Author(s)
      Savong Bou, Toshiyuki Amagasa, Hiroyuki Kitagawa
    • Journal Title

      Proc. 33rd International Conference on Database and Expert Systems Applications (DEXA 2022)

      Volume: 2 Pages: 47-61

    • DOI

      10.1007/978-3-031-12426-6_4

    • ISBN
      9783031124259, 9783031124266
    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] PR-MVI: Efficient Missing Value Imputation over Data Streams by Distance Likelihood2022

    • Author(s)
      Savong Bou, Toshiyuki Amagasa, Hiroyuki Kitagawa, Salman Ahmed Shaikh, Akiyoshi Matono
    • Journal Title

      Proc. 24th International Conference on Information Integration and Web Intelligence (iiWAS2022)

      Volume: - Pages: 338-351

    • DOI

      10.1007/978-3-031-21047-1_28

    • ISBN
      9783031210464, 9783031210471
    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] An FPGA-based Accelerator for Regular Path Queries over Edge-labeled Graphs2022

    • Author(s)
      Kento Miura, Ryohei Kobayashi, Toshiyuki Amagasa, Hiroyuki Kitagawa, Norihisa Fujita, and Taisuke Boku
    • Journal Title

      Proceedings of 2022 IEEE International Conference on Big Data (IEEE BigData2022)

      Volume: - Pages: 415-422

    • DOI

      10.1109/bigdata55660.2022.10020406

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Automatic Sleep Stage Classification with Optimized Selection of EEG Channels2022

    • Author(s)
      Stenwig, H. Soler, A., Furuki, J., Suzuki, Y. Abe, T., Molinas, M.
    • Journal Title

      21st IEEE International Confrence on Machine Learning and Applications

      Volume: - Pages: 1708-1715

    • DOI

      10.1109/icmla55696.2022.00262

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] 深層学習を活用したヒト睡眠の自動解析2024

    • Author(s)
      北川博之
    • Organizer
      日本睡眠学会第45回定期学術集会・第30回日本時間生物学会学術大会 合同大会, シンポジウム
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] ユーザ定義の述語とエンティティリンキングを利用した知識ベースと外部情報源の統合利2024

    • Author(s)
      大森 雄基, 北川 博之, 天笠 俊之, 的野 晃整
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム (DEIM 2024)
    • Related Report
      2023 Research-status Report
  • [Presentation] 睡眠ステージ判定を対象としたエンコーダ・デコーダモデルによる脳波信号オーグメンテーショ2024

    • Author(s)
      大宮 直樹, 堀江 和正, 北川 博之
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム (DEIM 2024)
    • Related Report
      2023 Research-status Report
  • [Presentation] 睡眠ステージ自動判定における睡眠時無呼吸症候群の重症度を踏まえた深層学習処理の切替機構の開発2024

    • Author(s)
      川畑 竜平, 堀江 和正, 北川 博之
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム (DEIM 2024)
    • Related Report
      2023 Research-status Report
  • [Presentation] レム睡眠のリアルタイム自動検出に関する研究2024

    • Author(s)
      佐野 史弥, 国生 泰資, 堀江 和正, 古木 淳也, 鈴木 陽子, 阿部 高志, 北川 博之
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム (DEIM 2024)
    • Related Report
      2023 Research-status Report
  • [Presentation] リアルタイム睡眠ステージ判定システムの開発と評価2024

    • Author(s)
      国生 泰資, 堀江 和正, 鈴木 陽子, 阿部 高志, 北川 博之
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム (DEIM 2024)
    • Related Report
      2023 Research-status Report
  • [Presentation] 睡眠ステージ自動判定における,患者の年齢を踏まえた深層学習処理の切替機構の開発2024

    • Author(s)
      川畑 竜平, 堀江 和正, 北川 博之
    • Organizer
      情報処理学会第86回全国大会 (IPSJ全国大会 2024
    • Related Report
      2023 Research-status Report
  • [Presentation] CPiX: Real-Time Analytics over Out-of-Order Data Streams by Incremental Sliding-Window Aggregation2023

    • Author(s)
      Savong Bou, Hiroyuki Kitagawa, Toshiyuki Amagasa
    • Organizer
      2023 IEEE 39th International Conference on Data Engineering (ICDE)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Integration of Knowledge Bases and External Information Sources via Magic Properties and Query-driven Entity Linking2023

    • Author(s)
      Yuuki Ohmori, Hiroyuki Kitagawa, Toshiyuki Amagasa, Akiyoshi Matono
    • Organizer
      The 25th International Conference on Information Integration and Web Intelligence (iiWAS2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Efficient Missing Value Imputation by Maximum Distance Likelihood2023

    • Author(s)
      Savong Bou, Toshiyuki Amagasa, Hiroyuki Kitagawa, Salman Ahmed Shaikh, Akiyoshi Matono
    • Organizer
      2023 IEEE International Conference on Big Data (BigData)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] エンティティリンキング機能を有する知識ベースと外部情報源の統合利用手法2023

    • Author(s)
      大森雄基, 北川博之, 天笠俊之
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
    • Related Report
      2022 Research-status Report
  • [Presentation] 複合的ストリーム処理に対するトレーサビリティの研究2023

    • Author(s)
      山田真也, 北川博之, Salman Ahmed Shaikh, 天笠俊之, 的野晃整
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
    • Related Report
      2022 Research-status Report
  • [Presentation] 睡眠ステージ判定のためのスタイル変換に基づく脳波信号のノイズ・個人差除2023

    • Author(s)
      大宮直樹, 堀江和正, 北川博之
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
    • Related Report
      2022 Research-status Report
  • [Presentation] 特徴波の発生タイミングを考慮したモデルによる睡眠ステージ判定精度の向上とエポックフリーなステージ判定2023

    • Author(s)
      山田空, 堀江和正, 北川博之
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
    • Related Report
      2022 Research-status Report
  • [Presentation] リアルタイム性を考慮した自動睡眠ステージ判定システムの設計2023

    • Author(s)
      国生泰資, 山田空, 堀江和正, 阿部高志, 北川博之
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
    • Related Report
      2022 Research-status Report
  • [Presentation] Big Sequence Data Analysis: From Stream Processing Technology to Applications in Sleep Medicine2022

    • Author(s)
      Hiroyuki Kitagawa
    • Organizer
      IRI2022
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] 覚醒後過同期の発生率の影響因子についての予備的検討2022

    • Author(s)
      鈴木陽子、Fan Z、阿部高志
    • Organizer
      第3回日本睡眠検査学会(ウェブ開催)
    • Related Report
      2022 Research-status Report
  • [Presentation] REM睡眠中の嗅覚刺激呈示による夢への効果2022

    • Author(s)
      岡部聡美,福田一彦,山田一夫,望月寛子,林光緖,阿部高志
    • Organizer
      日本味と匂学会 第56回大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 第一夜効果における覚醒後過同期の検討2022

    • Author(s)
      鈴木 陽子、鈴木 稚寛、阿部 高志
    • Organizer
      日本睡眠学会第47回定期学術集会
    • Related Report
      2022 Research-status Report
  • [Presentation] REM睡眠中の嗅覚刺激が夢の情動性に及ぼす効果はどのような要因と関連するか2022

    • Author(s)
      岡部 聡美、福田 一彦、林 光緒、阿部 高志
    • Organizer
      日本睡眠学会第47回定期学術集会
    • Related Report
      2022 Research-status Report
  • [Presentation] Efficacy of binaural beats with a frequency in the range of the slow oscillations on slow wave sleep induction2022

    • Author(s)
      Fan, Z., Zhu, Y., Suzuki, C., Suzuki, Y., Watanabem, Y., Endo, J., Watanabe, T., Abe, T
    • Organizer
      日本睡眠学会第47回定期学術集会
    • Related Report
      2022 Research-status Report
  • [Presentation] Fluctuations of time perception under sleep deprivation2022

    • Author(s)
      Fan, Z., Abe, T
    • Organizer
      日本睡眠学会第47回定期学術集会
    • Related Report
      2022 Research-status Report
  • [Book] 新規睡眠計測装置の現状と展望2022

    • Author(s)
      鈴木陽子,阿部高志
    • Total Pages
      15
    • Publisher
      エヌ・ティー・エス
    • ISBN
      9784860437848
    • Related Report
      2022 Research-status Report
  • [Remarks] Marta Molinas

    • URL

      https://www.ntnu.edu/employees/marta.molinas

    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-07-05   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi