2023 Fiscal Year Research-status Report
Real-time Emotion Analysis during Sleep using Sleep Sensing Stream Systems
| Project/Area Number |
22K19802
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
北川 博之 筑波大学, 国際統合睡眠医科学研究機構, 教授 (00204876)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
阿部 高志 筑波大学, 国際統合睡眠医科学研究機構, 准教授 (00549644)
堀江 和正 筑波大学, 計算科学研究センター, 助教 (60817112)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | 睡眠 / ストリーム処理 / 情動推定 / リアルタイム |
|---|
| Outline of Annual Research Achievements |
研究代表者らのこれまでの睡眠データ分析研究を発展させ，睡眠時のリアルタイム情動推定を行う．これは，睡眠中の脳波を用いて，ポジティブ・ネガティブな情動をリアルタイムで推定するものである．これによって，睡眠の深さといった従来の指標とは異なる視点から睡眠を捉えることが可能となり，睡眠医科学の新たな領域の開拓につながることが期待できる．一方，本研究の遂行には，様々な分析処理，対象データ，フィードバック刺激等の追加・変更等を柔軟に行える柔軟なリアルタイムデータ処理基盤が必要である．そこで本研究では，睡眠分析用リアルタイム睡眠センシングストリーム基盤を研究開発し，それを活用してヒトの睡眠時リアルタイム情動推定を行う．
2023年度は前年度の成果を発展させ，以下のような研究成果を得た．
(1) リアルタイム睡眠センシングストリーム基盤の研究開発：疑似的リアルタイム睡眠ステージ判定システムを発展させ，家庭用簡易脳波計から脳波データを実際にリアルタイム送信し睡眠ステージ判定を行うシステムを開発し，処理速度や判定精度に関する検討を行った．また，本研究課題では，特にレム睡眠の検出が重要となるが，PSGデータを用いてレム睡眠をエポックフリーでリアルタイム検出するためのモデルを開発した．
(2) 睡眠時情動推定：脳波を用いて睡眠中の夢の有無を識別するための機械学習モデルの開発を目的として，一般公開されているデータセットを用いてモデルを構築したところ，0.85以上の精度で夢の有無を弁別することに成功した．次に，情動要素が現れやすいレム睡眠中も含めた脳波と夢見の情動データを取得するため，健康な参加者7名（27.0±1.5歳）から2夜にわたって128チャンネルのEEGキャップを装着し，脳波信号と夢見報告を記録することで，独自のデータセットを構築した．現在，このデータセットを用いた解析を進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
現在までの進捗状況については既に述べた通りであるが，さらに補足説明を以下に加える．
(1) リアルタイム睡眠センシングストリーム基盤の研究開発：家庭用簡易脳波計からTCP/IP通信を用いて連続的に睡眠データを取得し，リアルタイム睡眠ステージ判定システムのプロトタイプを開発した．これは，家庭用簡易脳波計から脳波データを順次読み出し送信するクライアントと，同データを受信しリアルタイムで睡眠ステージ判定を行うサーバからなるシステムである．サーバ上の睡眠ステージ判定モデルは，移動窓方式を用いて指定したスライド間隔でステージ判定を行う．本システムを用いた検証によって，毎秒単位程度の間隔でステージ判定を行えることを確認した．また，PSGデータにおいてエポックフリーでレム睡眠を判定した学習データを用いて，レム睡眠の開始・終了点を検出するためのモデルを複数開発し，それぞれの長所・短所等の検討を進めた．
(2) 睡眠時情動推定： 脳波を用いて睡眠中の夢の有無を自動識別するための機械学習モデルの開発を目的として，一般公開されているデータセットを用いて、58チャンネルの脳波を解析した．脳波データから作成した機械学習モデルは，0.85以上の精度で夢見の有無を弁別することに成功した．しかし，このデータセットは入眠期のデータがほとんどであり、夢の情動に関する報告を得ていない．そこで，情動要素が現れやすいレム睡眠中も含めた脳波と夢見の情動データを取得するため，現在，独自のデータセットを構築している．健康な参加者7名（27.0±1.5歳）から2夜にわたって128チャンネルの脳波信号を記録した．各夜には，感情を刺激する40秒間の無音のビデオクリップを視聴させ，その後睡眠中に何度も覚醒させて夢の感情を報告させた．データセットは，728のビデオ視聴時データと146の夢の報告から構成されている．
|
| Strategy for Future Research Activity |
今後は，これまでの研究成果をより発展されるための研究を行う．特に，以下の点に注力する．
(1) リアルタイム睡眠センシングストリーム基盤の研究開発：家庭用簡易脳波計から実際に脳波データをリアルタイム送信し睡眠ステージ判定を行うシステムの開発に成功したことで，システムの実現可能性や基本的性能を検証することができた．また，従来のエポックにとらわれずにレム睡眠の開始・終了点を検出することについても，一定の精度を有するモデルを構築可能であるとの見通しを得ることができた．本研究における睡眠時情動推定のためには，高精度脳波計を用いた睡眠データの取得が必要である．今後は，これまでに得られた成果を統合し，高精度脳波計からリアルタイムで睡眠データを取得し，レム睡眠の開始・終了点を検出するシステムの実現を目指す．また，レム睡眠時におけるリアルタイム刺激提示機構の実現についても検討を進める．
(2) 現在，独自に取得したデータセットは用いて，EEGNeXと呼ばれる畳み込みニューラルネットワークを使用した二値分類モデル（感情価の高低と覚醒度の高低）を作成し，5分割交差検証を用いて性能を評価している．このモデルの性能は，夢とビデオクリップの両方において高い分類精度を示した（夢の感情価の平均精度は99.3%±0.6，ビデオクリップの感情価は98.6%±0.5，夢の覚醒度は97.8%±0.6，ビデオクリップの覚醒度は98.5%±0.6）．しかし，この予備的な分析では，トレーニング，検証，およびテストのデータに，同一参加者の同一エポックからのデータが含まれている場合があり，それが結果に影響を与えている可能性がある．そこで，次の解析では，参加者，エポック，セッションごとにデータを分けるモデルの構築を行う．また，実験参加者数を増やすとともに，より少ない電極数で分類するモデルの構築を行う．
|
| Causes of Carryover |
2023年度に購入予定だった備品や消耗品を運営費交付金で購入できたことや，会議のオンライン化等のため，繰越額が発生した．この繰越額は，2024年度に，実験参加者謝金，実験補助者謝金，研究の成果報告のための出張費，学会参加費，出版費等として使用する予定である．
|
