• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

睡眠センシングストリーム基盤を用いた睡眠時のリアルタイム情動推定

研究課題

研究課題/領域番号 22K19802
研究機関筑波大学

研究代表者

北川 博之  筑波大学, 国際統合睡眠医科学研究機構, 教授 (00204876)

研究分担者 阿部 高志  筑波大学, 国際統合睡眠医科学研究機構, 准教授 (00549644)
堀江 和正  筑波大学, 計算科学研究センター, 助教 (60817112)
研究期間 (年度) 2022-06-30 – 2025-03-31
キーワード睡眠 / ストリーム処理 / 情動推定 / リアルタイム
研究実績の概要

本研究課題では,研究代表者らのこれまでの睡眠データ分析研究を発展させ,睡眠時のリアルタイム情動推定を行う.これは,睡眠中の脳波を用いて,ポジティブ・ネガティブな情動をリアルタイムで推定するものである.これによって,睡眠の深さといった従来の指標とは異なる視点から睡眠を捉えることが可能となり,睡眠医科学の新たな領域の開拓につながることが期待できる.一方,本研究の遂行には,様々な分析処理,対象データ,フィードバック刺激等の追加・変更等を柔軟に行える柔軟なリアルタイムデータ処理基盤が必要である.そこで本研究では,睡眠分析用リアルタイム睡眠センシングストリーム基盤を研究開発し,それを活用してヒトの睡眠時リアルタイム情動推定を行う.
初年度である2022年度は,以下のような研究成果を得た.
(1) リアルタイム睡眠センシングストリーム基盤の研究開発:脳波計測デバイスを用いたシステムの開発に先立って,ファイルに格納された脳波データを疑似的にリアルタイム送信し機械学習モデルを用いて睡眠ステージ判定を行うサーバ・クライアント型のプロトタイプシステムを開発し,処理速度や判定精度に関する予備的な検討を行った.
(2) 睡眠時リアルタイム情動推定:①オフラインでの高精度な睡眠ステージ判定モデルの構築を行った.5クラスの単一モデルを使用した場合AUROCは0.948であったが,層別2クラスモデルを組み合わせることで,平均0.97のAUROCを達成した.②覚醒時の感情価を推定するモデルを,動画視聴または画像視聴中の脳波データを用いて構築した.感情喚起動画視聴中の感情価判別ではAUROCは0.84であり,画像視聴時には0.62であった.これにより,夢の感情価のモデル構築のための学習データの取得には,動画を用いる方が適していることが明らかになった.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

現在までの進捗状況については既に述べた通りであり,それに基づき上記の通り判定する.それぞれの進捗についての補足説明を以下に加える.
(1) リアルタイム睡眠センシングストリーム基盤の研究開発:PSGデータを対象としたリアルタイム睡眠ステージ判定システムのプロトタイプを開発した.これは,あらかじめ取得済のPSGデータ(EEG, EOG, EMG)をファイルから順次読み出しTCP/IPにて送信するクライアントと,同データを受信しリアルタイムで睡眠ステージ判定を行うサーバからなるシステムである.サーバ上の睡眠ステージ判定モデルとしては,研究代表者らが開発したSleep-CAMモデルを応用したモデルを用い,移動窓方式を用いて指定したスライド間隔でリアルタイム判定を行う.予備実験により,十分リアルタイム性を有する判定速度と静的な解析と同程度の判定精度を維持できる可能性を示唆する結果を得た.
(2) 睡眠時リアルタイム情動推定: 覚醒時に感情喚起動画を視聴している際の脳波データを学習サンプルとして活用し,覚醒時の感情判定モデルの開発と,睡眠中の夢の感情価をオフラインで判別する深層学習モデルの構築を目指して,以下の2点の研究を実施した.
①100人の被験者および6つのEEGチャンネルから構成される公開データセットを用いて,CNNによる自動的に選択される特徴量を用いた睡眠ステージの自動判定の性能改善を目指して検討した.その結果,高精度な睡眠ステージ自動判定モデルの構築に成功した.
②脳波を用いて覚醒時の感情価を推定する際に,感情を喚起する動画と画像のどちらを見ている時のデータが推定精度が高いかを検討した.その結果,動画を用いた場合の方が感情価の推定が高精度になることを明らかにした.

今後の研究の推進方策

今後は,昨年度の研究成果をより発展されるための研究を行う.特に,以下の点に注力する.
(1) アルタイム睡眠センシングストリーム基盤の研究開発:現在実験では従来の30秒固定長のエポックを単位とする正解データを用いているが,本研究が目指すリアルタイム睡眠データ解析においては,従来のエポックにとらわれない睡眠ステージ判定を行うことになる.このため,精度評価に用いる正解データについてもエポックフリーなステージ判定を用いた実験が望ましいため,この方向での研究を推進する.また併せて,特定の睡眠ステージの開始と終了を的確に判定するための手法も開発する.さらに,本研究で用いる高精度脳波計測デバイスへの対応,リアルタイム刺激提示機構の実現等についても検討を進める.
(2) 睡眠時リアルタイム情動推定:レム睡眠中の脳波記録と夢見報告を行ったオープンデータが公開された ("DEED: A Multimodel Dataset for Dream Emotion Classification").このデータセットには睡眠時脳波と夢の感情価を同時に取得している.2023年度には,このデータを利用して,脳波と機械学習による夢の感情価の推定が可能かどうかを検討する.ただし,このデータセットでは6部位の脳波しか公開していない.また,レム睡眠中の夢見報告だけでは,機械学習に必要となるデータ量を十分に確保できない.そこで,覚醒時の感情喚起動画視聴時の高密度脳波(128ch)のデータを学習サンプルとして取得するとともに,睡眠時の夢見報告時の高密度脳波記録を行い,独自のデータセットを構築する.

次年度使用額が生じた理由

2022年度に購入予定だった備品や消耗品を運営費交付金で購入できたことや,会議のオンライン化等のため,繰越額が発生した.この繰越額は,2023年度に実施予定の実験参加者謝金および実験補助者謝金に利用するとともに,研究の成果報告のための出張費,学会参加費,出版費等として使用する予定である.

備考

JSPS外国人招へい事業により,2022年2月から11月まで研究分担者の阿部の研究室に滞在していたMolinas Cabrera Maria Martaとの共同研究であり,Molinas氏が帰国した後も共同研究は継続されている.

  • 研究成果

    (23件)

すべて 2023 2022 その他

すべて 国際共同研究 (1件) 雑誌論文 (8件) (うち国際共著 1件、 査読あり 8件、 オープンアクセス 4件) 学会発表 (12件) (うち国際学会 1件、 招待講演 1件) 図書 (1件) 備考 (1件)

  • [国際共同研究] NUST(ノルウェー)

    • 国名
      ノルウェー
    • 外国機関名
      NUST
  • [雑誌論文] BPF: A Novel Cluster Boundary Points Detection Method for Static and Streaming Data2023

    • 著者名/発表者名
      Vijdan Khalique, Hiroyuki Kitagawa, and Toshiyuki Amagasa
    • 雑誌名

      Knowledge and Information Systems

      巻: - ページ: 1-32

    • DOI

      10.1007/s10115-023-01854-1

    • 査読あり / オープンアクセス
  • [雑誌論文] Peripheral blood flow estimated by laser doppler flowmetry provides additional information about sleep state beyond that provided by pulse rate variability2023

    • 著者名/発表者名
      Fan, Z., Suzuki, Y., Jiang, L., Okabe, S., Honda, S., Endo, J., Watanabe, T.
    • 雑誌名

      Frontiers in Physiology

      巻: 14 ページ: -

    • DOI

      10.3389/fphys.2023.1040425

    • 査読あり / オープンアクセス
  • [雑誌論文] PERCLOS-based technologies for detecting drowsiness: current evidence and future directions2023

    • 著者名/発表者名
      Abe, T.
    • 雑誌名

      SLEEP Advances

      巻: 4 ページ: 1-13

    • DOI

      10.1093/sleepadvances/zpad006

    • 査読あり / オープンアクセス
  • [雑誌論文] Automated sleep stage scoring employing a reasoning mechanism and evaluation of its explainability2022

    • 著者名/発表者名
      Kazumasa Horie, Leo Ota, Ryusuke Miyamoto, Takashi Abe, Yoko Suzuki, Fusae Kawana, Toshio Kokubo, Masashi Yanagisawa, and Hiroyuki Kitagawa
    • 雑誌名

      Scientific Reports

      巻: 12 ページ: 1-15

    • DOI

      10.1038/s41598-022-16334-9

    • 査読あり / オープンアクセス
  • [雑誌論文] InTrans: Fast Incremental Transformer for Time Series Data Prediction2022

    • 著者名/発表者名
      Savong Bou, Toshiyuki Amagasa, Hiroyuki Kitagawa
    • 雑誌名

      Proc. 33rd International Conference on Database and Expert Systems Applications (DEXA 2022)

      巻: 2 ページ: 47-61

    • DOI

      10.1007/978-3-031-12426-6_4

    • 査読あり
  • [雑誌論文] PR-MVI: Efficient Missing Value Imputation over Data Streams by Distance Likelihood2022

    • 著者名/発表者名
      Savong Bou, Toshiyuki Amagasa, Hiroyuki Kitagawa, Salman Ahmed Shaikh, Akiyoshi Matono
    • 雑誌名

      Proc. 24th International Conference on Information Integration and Web Intelligence (iiWAS2022)

      巻: - ページ: 338-351

    • DOI

      10.1007/978-3-031-21047-1_28

    • 査読あり
  • [雑誌論文] An FPGA-based Accelerator for Regular Path Queries over Edge-labeled Graphs2022

    • 著者名/発表者名
      Kento Miura, Ryohei Kobayashi, Toshiyuki Amagasa, Hiroyuki Kitagawa, Norihisa Fujita, and Taisuke Boku
    • 雑誌名

      Proceedings of 2022 IEEE International Conference on Big Data (IEEE BigData2022)

      巻: - ページ: 415-422

    • DOI

      10.1109/BigData55660.2022.10020406

    • 査読あり
  • [雑誌論文] Automatic Sleep Stage Classification with Optimized Selection of EEG Channels2022

    • 著者名/発表者名
      Stenwig, H. Soler, A., Furuki, J., Suzuki, Y. Abe, T., Molinas, M.
    • 雑誌名

      21st IEEE International Confrence on Machine Learning and Applications

      巻: - ページ: 1708-1715

    • DOI

      10.1109/ICMLA55696.2022.00262

    • 査読あり / 国際共著
  • [学会発表] エンティティリンキング機能を有する知識ベースと外部情報源の統合利用手法2023

    • 著者名/発表者名
      大森雄基, 北川博之, 天笠俊之
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [学会発表] 複合的ストリーム処理に対するトレーサビリティの研究2023

    • 著者名/発表者名
      山田真也, 北川博之, Salman Ahmed Shaikh, 天笠俊之, 的野晃整
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [学会発表] 睡眠ステージ判定のためのスタイル変換に基づく脳波信号のノイズ・個人差除2023

    • 著者名/発表者名
      大宮直樹, 堀江和正, 北川博之
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [学会発表] 特徴波の発生タイミングを考慮したモデルによる睡眠ステージ判定精度の向上とエポックフリーなステージ判定2023

    • 著者名/発表者名
      山田空, 堀江和正, 北川博之
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [学会発表] リアルタイム性を考慮した自動睡眠ステージ判定システムの設計2023

    • 著者名/発表者名
      国生泰資, 山田空, 堀江和正, 阿部高志, 北川博之
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
  • [学会発表] Big Sequence Data Analysis: From Stream Processing Technology to Applications in Sleep Medicine2022

    • 著者名/発表者名
      Hiroyuki Kitagawa
    • 学会等名
      IRI2022
    • 国際学会 / 招待講演
  • [学会発表] 覚醒後過同期の発生率の影響因子についての予備的検討2022

    • 著者名/発表者名
      鈴木陽子、Fan Z、阿部高志
    • 学会等名
      第3回日本睡眠検査学会(ウェブ開催)
  • [学会発表] REM睡眠中の嗅覚刺激呈示による夢への効果2022

    • 著者名/発表者名
      岡部聡美,福田一彦,山田一夫,望月寛子,林光緖,阿部高志
    • 学会等名
      日本味と匂学会 第56回大会
  • [学会発表] 第一夜効果における覚醒後過同期の検討2022

    • 著者名/発表者名
      鈴木 陽子、鈴木 稚寛、阿部 高志
    • 学会等名
      日本睡眠学会第47回定期学術集会
  • [学会発表] REM睡眠中の嗅覚刺激が夢の情動性に及ぼす効果はどのような要因と関連するか2022

    • 著者名/発表者名
      岡部 聡美、福田 一彦、林 光緒、阿部 高志
    • 学会等名
      日本睡眠学会第47回定期学術集会
  • [学会発表] Efficacy of binaural beats with a frequency in the range of the slow oscillations on slow wave sleep induction2022

    • 著者名/発表者名
      Fan, Z., Zhu, Y., Suzuki, C., Suzuki, Y., Watanabem, Y., Endo, J., Watanabe, T., Abe, T
    • 学会等名
      日本睡眠学会第47回定期学術集会
  • [学会発表] Fluctuations of time perception under sleep deprivation2022

    • 著者名/発表者名
      Fan, Z., Abe, T
    • 学会等名
      日本睡眠学会第47回定期学術集会
  • [図書] 新規睡眠計測装置の現状と展望2022

    • 著者名/発表者名
      鈴木陽子,阿部高志
    • 総ページ数
      15
    • 出版者
      エヌ・ティー・エス
    • ISBN
      978-4-86043-784-8
  • [備考] Marta Molinas

    • URL

      https://www.ntnu.edu/employees/marta.molinas

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi