• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Research-status Report

Real-time Emotion Analysis during Sleep using Sleep Sensing Stream Systems

Research Project

Project/Area Number 22K19802
Research InstitutionUniversity of Tsukuba

Principal Investigator

北川 博之  筑波大学, 国際統合睡眠医科学研究機構, 教授 (00204876)

Co-Investigator(Kenkyū-buntansha) 阿部 高志  筑波大学, 国際統合睡眠医科学研究機構, 准教授 (00549644)
堀江 和正  筑波大学, 計算科学研究センター, 助教 (60817112)
Project Period (FY) 2022-06-30 – 2025-03-31
Keywords睡眠 / ストリーム処理 / 情動推定 / リアルタイム
Outline of Annual Research Achievements

本研究課題では,研究代表者らのこれまでの睡眠データ分析研究を発展させ,睡眠時のリアルタイム情動推定を行う.これは,睡眠中の脳波を用いて,ポジティブ・ネガティブな情動をリアルタイムで推定するものである.これによって,睡眠の深さといった従来の指標とは異なる視点から睡眠を捉えることが可能となり,睡眠医科学の新たな領域の開拓につながることが期待できる.一方,本研究の遂行には,様々な分析処理,対象データ,フィードバック刺激等の追加・変更等を柔軟に行える柔軟なリアルタイムデータ処理基盤が必要である.そこで本研究では,睡眠分析用リアルタイム睡眠センシングストリーム基盤を研究開発し,それを活用してヒトの睡眠時リアルタイム情動推定を行う.
初年度である2022年度は,以下のような研究成果を得た.
(1) リアルタイム睡眠センシングストリーム基盤の研究開発:脳波計測デバイスを用いたシステムの開発に先立って,ファイルに格納された脳波データを疑似的にリアルタイム送信し機械学習モデルを用いて睡眠ステージ判定を行うサーバ・クライアント型のプロトタイプシステムを開発し,処理速度や判定精度に関する予備的な検討を行った.
(2) 睡眠時リアルタイム情動推定:①オフラインでの高精度な睡眠ステージ判定モデルの構築を行った.5クラスの単一モデルを使用した場合AUROCは0.948であったが,層別2クラスモデルを組み合わせることで,平均0.97のAUROCを達成した.②覚醒時の感情価を推定するモデルを,動画視聴または画像視聴中の脳波データを用いて構築した.感情喚起動画視聴中の感情価判別ではAUROCは0.84であり,画像視聴時には0.62であった.これにより,夢の感情価のモデル構築のための学習データの取得には,動画を用いる方が適していることが明らかになった.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

現在までの進捗状況については既に述べた通りであり,それに基づき上記の通り判定する.それぞれの進捗についての補足説明を以下に加える.
(1) リアルタイム睡眠センシングストリーム基盤の研究開発:PSGデータを対象としたリアルタイム睡眠ステージ判定システムのプロトタイプを開発した.これは,あらかじめ取得済のPSGデータ(EEG, EOG, EMG)をファイルから順次読み出しTCP/IPにて送信するクライアントと,同データを受信しリアルタイムで睡眠ステージ判定を行うサーバからなるシステムである.サーバ上の睡眠ステージ判定モデルとしては,研究代表者らが開発したSleep-CAMモデルを応用したモデルを用い,移動窓方式を用いて指定したスライド間隔でリアルタイム判定を行う.予備実験により,十分リアルタイム性を有する判定速度と静的な解析と同程度の判定精度を維持できる可能性を示唆する結果を得た.
(2) 睡眠時リアルタイム情動推定: 覚醒時に感情喚起動画を視聴している際の脳波データを学習サンプルとして活用し,覚醒時の感情判定モデルの開発と,睡眠中の夢の感情価をオフラインで判別する深層学習モデルの構築を目指して,以下の2点の研究を実施した.
①100人の被験者および6つのEEGチャンネルから構成される公開データセットを用いて,CNNによる自動的に選択される特徴量を用いた睡眠ステージの自動判定の性能改善を目指して検討した.その結果,高精度な睡眠ステージ自動判定モデルの構築に成功した.
②脳波を用いて覚醒時の感情価を推定する際に,感情を喚起する動画と画像のどちらを見ている時のデータが推定精度が高いかを検討した.その結果,動画を用いた場合の方が感情価の推定が高精度になることを明らかにした.

Strategy for Future Research Activity

今後は,昨年度の研究成果をより発展されるための研究を行う.特に,以下の点に注力する.
(1) アルタイム睡眠センシングストリーム基盤の研究開発:現在実験では従来の30秒固定長のエポックを単位とする正解データを用いているが,本研究が目指すリアルタイム睡眠データ解析においては,従来のエポックにとらわれない睡眠ステージ判定を行うことになる.このため,精度評価に用いる正解データについてもエポックフリーなステージ判定を用いた実験が望ましいため,この方向での研究を推進する.また併せて,特定の睡眠ステージの開始と終了を的確に判定するための手法も開発する.さらに,本研究で用いる高精度脳波計測デバイスへの対応,リアルタイム刺激提示機構の実現等についても検討を進める.
(2) 睡眠時リアルタイム情動推定:レム睡眠中の脳波記録と夢見報告を行ったオープンデータが公開された ("DEED: A Multimodel Dataset for Dream Emotion Classification").このデータセットには睡眠時脳波と夢の感情価を同時に取得している.2023年度には,このデータを利用して,脳波と機械学習による夢の感情価の推定が可能かどうかを検討する.ただし,このデータセットでは6部位の脳波しか公開していない.また,レム睡眠中の夢見報告だけでは,機械学習に必要となるデータ量を十分に確保できない.そこで,覚醒時の感情喚起動画視聴時の高密度脳波(128ch)のデータを学習サンプルとして取得するとともに,睡眠時の夢見報告時の高密度脳波記録を行い,独自のデータセットを構築する.

Causes of Carryover

2022年度に購入予定だった備品や消耗品を運営費交付金で購入できたことや,会議のオンライン化等のため,繰越額が発生した.この繰越額は,2023年度に実施予定の実験参加者謝金および実験補助者謝金に利用するとともに,研究の成果報告のための出張費,学会参加費,出版費等として使用する予定である.

Remarks

JSPS外国人招へい事業により,2022年2月から11月まで研究分担者の阿部の研究室に滞在していたMolinas Cabrera Maria Martaとの共同研究であり,Molinas氏が帰国した後も共同研究は継続されている.

  • Research Products

    (23 results)

All 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (8 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 8 results,  Open Access: 4 results) Presentation (12 results) (of which Int'l Joint Research: 1 results,  Invited: 1 results) Book (1 results) Remarks (1 results)

  • [Int'l Joint Research] NUST(ノルウェー)

    • Country Name
      NORWAY
    • Counterpart Institution
      NUST
  • [Journal Article] BPF: A Novel Cluster Boundary Points Detection Method for Static and Streaming Data2023

    • Author(s)
      Vijdan Khalique, Hiroyuki Kitagawa, and Toshiyuki Amagasa
    • Journal Title

      Knowledge and Information Systems

      Volume: - Pages: 1-32

    • DOI

      10.1007/s10115-023-01854-1

    • Peer Reviewed / Open Access
  • [Journal Article] Peripheral blood flow estimated by laser doppler flowmetry provides additional information about sleep state beyond that provided by pulse rate variability2023

    • Author(s)
      Fan, Z., Suzuki, Y., Jiang, L., Okabe, S., Honda, S., Endo, J., Watanabe, T.
    • Journal Title

      Frontiers in Physiology

      Volume: 14 Pages: -

    • DOI

      10.3389/fphys.2023.1040425

    • Peer Reviewed / Open Access
  • [Journal Article] PERCLOS-based technologies for detecting drowsiness: current evidence and future directions2023

    • Author(s)
      Abe, T.
    • Journal Title

      SLEEP Advances

      Volume: 4 Pages: 1-13

    • DOI

      10.1093/sleepadvances/zpad006

    • Peer Reviewed / Open Access
  • [Journal Article] Automated sleep stage scoring employing a reasoning mechanism and evaluation of its explainability2022

    • Author(s)
      Kazumasa Horie, Leo Ota, Ryusuke Miyamoto, Takashi Abe, Yoko Suzuki, Fusae Kawana, Toshio Kokubo, Masashi Yanagisawa, and Hiroyuki Kitagawa
    • Journal Title

      Scientific Reports

      Volume: 12 Pages: 1-15

    • DOI

      10.1038/s41598-022-16334-9

    • Peer Reviewed / Open Access
  • [Journal Article] InTrans: Fast Incremental Transformer for Time Series Data Prediction2022

    • Author(s)
      Savong Bou, Toshiyuki Amagasa, Hiroyuki Kitagawa
    • Journal Title

      Proc. 33rd International Conference on Database and Expert Systems Applications (DEXA 2022)

      Volume: 2 Pages: 47-61

    • DOI

      10.1007/978-3-031-12426-6_4

    • Peer Reviewed
  • [Journal Article] PR-MVI: Efficient Missing Value Imputation over Data Streams by Distance Likelihood2022

    • Author(s)
      Savong Bou, Toshiyuki Amagasa, Hiroyuki Kitagawa, Salman Ahmed Shaikh, Akiyoshi Matono
    • Journal Title

      Proc. 24th International Conference on Information Integration and Web Intelligence (iiWAS2022)

      Volume: - Pages: 338-351

    • DOI

      10.1007/978-3-031-21047-1_28

    • Peer Reviewed
  • [Journal Article] An FPGA-based Accelerator for Regular Path Queries over Edge-labeled Graphs2022

    • Author(s)
      Kento Miura, Ryohei Kobayashi, Toshiyuki Amagasa, Hiroyuki Kitagawa, Norihisa Fujita, and Taisuke Boku
    • Journal Title

      Proceedings of 2022 IEEE International Conference on Big Data (IEEE BigData2022)

      Volume: - Pages: 415-422

    • DOI

      10.1109/BigData55660.2022.10020406

    • Peer Reviewed
  • [Journal Article] Automatic Sleep Stage Classification with Optimized Selection of EEG Channels2022

    • Author(s)
      Stenwig, H. Soler, A., Furuki, J., Suzuki, Y. Abe, T., Molinas, M.
    • Journal Title

      21st IEEE International Confrence on Machine Learning and Applications

      Volume: - Pages: 1708-1715

    • DOI

      10.1109/ICMLA55696.2022.00262

    • Peer Reviewed / Int'l Joint Research
  • [Presentation] エンティティリンキング機能を有する知識ベースと外部情報源の統合利用手法2023

    • Author(s)
      大森雄基, 北川博之, 天笠俊之
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [Presentation] 複合的ストリーム処理に対するトレーサビリティの研究2023

    • Author(s)
      山田真也, 北川博之, Salman Ahmed Shaikh, 天笠俊之, 的野晃整
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [Presentation] 睡眠ステージ判定のためのスタイル変換に基づく脳波信号のノイズ・個人差除2023

    • Author(s)
      大宮直樹, 堀江和正, 北川博之
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [Presentation] 特徴波の発生タイミングを考慮したモデルによる睡眠ステージ判定精度の向上とエポックフリーなステージ判定2023

    • Author(s)
      山田空, 堀江和正, 北川博之
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [Presentation] リアルタイム性を考慮した自動睡眠ステージ判定システムの設計2023

    • Author(s)
      国生泰資, 山田空, 堀江和正, 阿部高志, 北川博之
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [Presentation] Big Sequence Data Analysis: From Stream Processing Technology to Applications in Sleep Medicine2022

    • Author(s)
      Hiroyuki Kitagawa
    • Organizer
      IRI2022
    • Int'l Joint Research / Invited
  • [Presentation] 覚醒後過同期の発生率の影響因子についての予備的検討2022

    • Author(s)
      鈴木陽子、Fan Z、阿部高志
    • Organizer
      第3回日本睡眠検査学会(ウェブ開催)
  • [Presentation] REM睡眠中の嗅覚刺激呈示による夢への効果2022

    • Author(s)
      岡部聡美,福田一彦,山田一夫,望月寛子,林光緖,阿部高志
    • Organizer
      日本味と匂学会 第56回大会
  • [Presentation] 第一夜効果における覚醒後過同期の検討2022

    • Author(s)
      鈴木 陽子、鈴木 稚寛、阿部 高志
    • Organizer
      日本睡眠学会第47回定期学術集会
  • [Presentation] REM睡眠中の嗅覚刺激が夢の情動性に及ぼす効果はどのような要因と関連するか2022

    • Author(s)
      岡部 聡美、福田 一彦、林 光緒、阿部 高志
    • Organizer
      日本睡眠学会第47回定期学術集会
  • [Presentation] Efficacy of binaural beats with a frequency in the range of the slow oscillations on slow wave sleep induction2022

    • Author(s)
      Fan, Z., Zhu, Y., Suzuki, C., Suzuki, Y., Watanabem, Y., Endo, J., Watanabe, T., Abe, T
    • Organizer
      日本睡眠学会第47回定期学術集会
  • [Presentation] Fluctuations of time perception under sleep deprivation2022

    • Author(s)
      Fan, Z., Abe, T
    • Organizer
      日本睡眠学会第47回定期学術集会
  • [Book] 新規睡眠計測装置の現状と展望2022

    • Author(s)
      鈴木陽子,阿部高志
    • Total Pages
      15
    • Publisher
      エヌ・ティー・エス
    • ISBN
      978-4-86043-784-8
  • [Remarks] Marta Molinas

    • URL

      https://www.ntnu.edu/employees/marta.molinas

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi