脳波から読み取る脳の予測能力：脳は物体の動きをどのように予測しているのか？

2022 Fiscal Year Research-status Report

• Project/Area Number: 19K04289
• Research Institution: Tokyo Polytechnic University
• Principal Investigator: 神原 裕行 東京工芸大学, 工学部, 准教授 (50451993)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: 計算論的神経科学

Outline of Annual Research Achievements

ヒトが物や機械などの物体を操作する際、我々の脳は物体の動きや物体が身体に及ぼす影響を予測しながら自らの身体を制御している。本研究では、運動中の脳波信号から物体の動きの予測に関与する脳部位、情報表現、脳部位間の情報の流れを可視化することで、外部環境の変化を予測する脳内メカニズムの計算論的なモデル化を目的とする。また、脳の構造的な変化をもたらすことが知られている運動トレーニングを行うことによって、物体の動きの予測に関与する脳機能も変化するかを検証し、運動学習や適応も含めた運動制御に関する脳内情報処理機構の理解を目指す。本研究では、具体的な研究課題として以下の三つ課題を設定する。まず、バーチャルリアリティを用いたボールキャッチング実験環境の構築（課題１）を行う。次に、ボールの動きの予測に関する脳内情報処理の可視化とモデル化（課題２）を行う。最後に、複数のボールのジャグリング運動をトレーニングすることによる脳機能の変化の検証（課題３）を行う。2022年度は、バーチャルリアリティ技術を用いたジャグリングシステムに関して、実環境においてボールを投げる際の手の動きに近い動きで仮想世界のボールを投げられるようにシステム改良を行った。また、改良したジャグリングシステムを用いて、三つのボールによるジャグリングを仮想空間内でトレーニングする実験を実施するとともに、トレーニングによる脳活動の変化を脳波信号を解析することで検証した。仮想空間内でのジャグリングのトレーニングによる実空間のジャグリングスキルの変化に関する解析結果を国際会議や国内の学会にて発表した。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

2022年度は，前年度に実施した実験時に被験者より得られた意見をもとに，課題１で構築したジャグリングのためのバーチャルリアリティシステムの改良を行った．具体的には，仮想空間内のボールを手から離すためのシステムへの入力方法を，手の動きの特徴を利用した方法から，指をボールから離す動作を検出する方法に変更した．さらに，変更の効果を検証するための実験を実施した結果，変更後の方法により，被験者がより自然な動作でボールを投げることができることが確かめられた．また，改良を行なったバーチャリアリティシステムを用いて，仮想現実空間内にて３つのボールのジャグリングのトレーニングを10日間に渡り行う計測実験を計7名の被験者を対象として実施した．トレーニング期間中の1，５，10日目の実験中は脳波データ計測を行なった．さらに，各トレーニング日において，ボールの動きの予測能力を定量化するために、液晶シャッターゴーグルを用いてジャグリング中の視覚情報を遮断する計測実験も実施した。なお，本研究課題が採択後に研究代表者の所属機関が異動したことや，コロナの影響により被験者を集めることに時間を要したため，当初計画していたスケジュールよりも進捗が遅れてしまっている．

Strategy for Future Research Activity

2023年度は、2022年度に計測したジャグリングトレーニング中や，ボールの動きを予測する能力を定量化するために行なったタスク中の脳波データや身体運動データの解析を行い，ボールの動きの予測に関する脳内情報処理に関係する脳活動データを脳波信号から抽出し，物体の動きの予測に関与する脳部位、情報表現、脳部位間の情報の流れを可視化する予定である．また、仮想現実空間内でジャグリングを実現するバーチャルリアリティシステムを用いて、ボールの動きの予測に対する触覚情報や視覚情報の役割を調べるための、体動作や視線方向を計測する行動実験とデータ解析を行う予定である。

Causes of Carryover

実験実施のスケジュールに遅延が生じたため，本来の使用額を下回ることとなった．実験を実施するための消耗品や実験データを保存するためのハードディスク等の購入に使用する予定である．

Research Products

• [Int'l Joint Research] University of California, San Diego(米国)
  • Country Name: U.S.A.
  • Counterpart Institution: University of California, San Diego
• [Presentation] 複雑な運動スキル獲得を可能とするVRジャグリングシステム (2023)
  • Author(s): 神原裕行, チョ・ワンヒ, キム・ヒョンソク, 小林誠, 大矢力太, 北見雄祐, セイティア・スパット, 香川高弘, 田中宏和, 宮腰誠, イヴァーセン・ジョン, マケイグ・スコット, 佐藤誠, 吉村奈津江
  • Organizer: 映像情報メディア学会 情報ディスプレイ研究会 ディスプレイ技術シンポジウム２０２３
  • Invited
• [Presentation] Juggling on the moon (II): Computational neuroscience of skill acquisition (2022)
  • Author(s): Natsue Yoshimura, Hiroyuki Kambara, Hirokazu Tanaka, Takahiro Kagawa, Makoto Sato, Wanhee Cho, Makoto Kobayashi, Hyeonseok Kim, Makoto Miyakoshi, Scott Makeig, John R Iversen
  • Organizer: CRCNS2022
  • Int'l Joint Research
• [Presentation] A computational neuroscience approach to skill learning and transfer from visuo-haptic VR to the real-world (2022)
  • Author(s): Hyeonseok Kim, Makoto Miyakoshi, Hiroyuki Kambara, Hirokazu Tanaka, Takahiro Kagawa, Makoto Sato, Natsue Yoshimura, Scott Makeig, and John R Iversen
  • Organizer: CRCNS2022
  • Int'l Joint Research
• [Presentation] Juggling skills trained in VR transfer to the real world (2022)
  • Author(s): Hiroyuki Kambara, Wanhee Cho, Hyeonseok Kim, Rikiya. Oya, Yusuke. Kitami, Makoto Kobayashi, Supat Saetia, Takahiro Kagawa, Hirokazu Tanaka, Makoto Miyakoshi, John R Iversen, Scott Makeig,, Makoto Sato, Natsue Yoshimura
  • Organizer: Neuroscience 2022
  • Int'l Joint Research
• [Presentation] Juggling on the Moon: A VR system for complex motor skill learning (2022)
  • Author(s): Hiroyuki Kambara, Wanhee Cho, Hyeonseok Kim, Rikiya. Oya, Yusuke. Kitami, Makoto Kobayashi, Supat Saetia, Takahiro Kagawa, Hirokazu Tanaka, Makoto Miyakoshi, John R Iversen, Scott Makeig,, Makoto Sato, Natsue Yoshimura
  • Organizer: IDW'22 (The 29th International Display Workshops)
  • Int'l Joint Research / Invited