複数人動画同時視聴時の脳波等の生体情報データベース構築による共感モデルの構築

• Project/Area Number: 23K21739
• Project/Area Number (Other): 21H03573 (2021-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2021-2023)
• Section: 一般
• Review Section: Basic Section 62040:Entertainment and game informatics-related
• Research Institution: National Institute of Information and Communications Technology
• Principal Investigator: 成瀬 康 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 室長 (00455453)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000); Fiscal Year 2024: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2022: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2021: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
• Keywords: 脳波 / 共感 / 同期 / 同時計測

Outline of Research at the Start

本研究では、のべ500名程度の映画等の動画視聴時の脳波、自律神経データ、アンケートデータを統合し、共感を分析するデータベースと共感度の推定に関する機械学習モデルの構築を目指す。従来の脳波研究が認知的共感のみを捉えていたのに対し、本研究では情動的共感とその身体反応も考慮し、共感を生み出す様々な要素を総合的に分析する。

Outline of Annual Research Achievements

本研究は、様々な映画を視聴している時の脳波データ、自律神経データ及び、映画に対するアンケートデータなどの統合的なデータを取得し、共感に関するモデル化を進めることを目指した研究である。
これまでに蓄積したデータは500名近くあり、さらに、映画を視聴中のデータであることから、一人あたり2時間程度あるため、データ量としては膨大になってきている。それ故、2023年度においては、解析の補助者を雇用し、脳波データや自律神経データとしての心電図のデータ解析を精力的に進めた。そして、並行して、昨年度までに解析が終わったデータを利用して、映画の前後での気分の変化の類似度を、脳波の同期のみからと脳波の同期にHeartbeat evoked potential(HEP)を加えた場合とで推定するモデルを構築し、比較したところ、HEPを加えたときの方が推定結果が良いという結果が得られた。HEPは自律神経の変化を内受容感覚を通して脳がモニタリングしている反応であると考えられることから、自律神経に関連する脳波指標も入れた方が共感の推定精度を向上させることが出来る可能性が示唆された。また、映画視聴中のEye Fixation Related Potential (EFRP)の自動処理化のモデル化も進め、ニューラルネットワークモデルを利用することである程度の自動化が可能となった。また、現在の実験は映画の視聴はプロジェクタでスクリーンに投影した形で行っているが、今後はヴァーチャルリアリティ(VR)環境での視聴が増えていくと思われ、また、VR環境では気分が変わることが知られていることから共感に影響を与える可能性があるため、VR環境での実験系の構築も進めた。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

もともと、脳波指標としては、同期とHEPを想定していたが、EFRPも利用できる可能性に気付き、さらに、EFRPの解析は非常に手間がかかるものであったが、これの自動化を進める研究が大きく進捗し、論文化にまでつながったため。

Strategy for Future Research Activity

これまでに取得したデータを利用してモデルの高度化を進める。必要に応じてデータの追加も行う。

Research Products

• [Journal Article] The Proteus effect in virtual space modulates early stage of neural processing (2023)
  • Author(s): 岩﨑 正紘、横田 悠右、成瀬 康
  • Journal Title: The Transactions of Human Interface Society Volume: 25 Issue: 3 Pages: 273-282
  • DOI: 10.11184/his.25.3_273
  • ISSN: 1344-7262, 2186-8271
  • Year and Date: 2023-08-25
  • Peer Reviewed / Open Access
• [Journal Article] Recurrent Neural Network to Predict Saccade Offset Time Points from Electrooculogram Signals for Automatic Measurement of Eye-Fixation-Related Potential (2023)
  • Author(s): Saga Takuma、Watanabe Hiroki、Naruse Yasushi
  • Journal Title: Applied Sciences Volume: 13 Issue: 10 Pages: 6230-6230
  • DOI: 10.3390/app13106230
  • Peer Reviewed / Open Access
• [Journal Article] Physiological Responses to Movies Predict Marital Satisfaction (2023)
  • Author(s): Ishikawa Yuichi、Kobayashi Nao、Legaspi Roberto、Nakajima Kae、Naruse Yasushi
  • Journal Title: IEEE Access Volume: 11 Pages: 94918-94936
  • DOI: 10.1109/access.2023.3310814
  • Peer Reviewed / Open Access
• [Patent(Industrial Property Rights)] 異なる位置の生体信号の類似度から生体特性を判定する判定装置 (2023)
  • Inventor(s): 小林 直、石川 雄一、中島 加惠、成瀬 康
  • Industrial Property Rights Holder: ＫＤＤＩ株式会社、情報通信研究機構
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2023-003351
  • Filing Date: 2023
• [Patent(Industrial Property Rights)] 刺激情報から予測対象の人間関係における推定精度を予測する予測装置、 プログラム及び方法 (2023)
  • Inventor(s): 小林 直、石川 雄一、中島 加惠、成瀬 康
  • Industrial Property Rights Holder: ＫＤＤＩ株式会社、情報通信研究機構
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2023-007612
  • Filing Date: 2023