強化学習モデルによるヒトの潜在的な心理状態の予測に基づく共適応ＢＭＩ

2013 Fiscal Year Annual Research Report

• Project/Area Number: 24300093
• Research Institution: Advanced Telecommunications Research Institute International
• Principal Investigator: 川鍋 一晃 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 主任研究員 (30272389)
• Co-Investigator(Kenkyū-buntansha): 兼村 厚範 大阪大学, 産業科学研究所, 特任研究員(常勤) (50580297) ; 植野 剛 大阪大学, 産業科学研究所, 招へい研究員 (90615824)
• Project Period (FY): 2012-04-01 – 2015-03-31
• Keywords: ブレイン・マシン・インタフェース / 強化学習

Research Abstract

本研究の目的は、BMI（brain-machine interface）を使用中に学習や疲労などによりヒトの脳活動状態が非定常的に変化することをモデル化することによって、ヒトの潜在的な心理状態に応じた柔軟なフィードバック・スキームを提供するリアルタイム共適応BMIシステム確立することである。その実現のため、本年度は、BMIデコーダの強化学習アルゴリズムの開発と実装、非定常なヒトの心理状態をモデル化するための情報表現法の研究、およびオンライン適応BMIシステムの評価実験のために実環境でランプを用いてBMIの結果をフィードバッックするシステムの構築を実施した。
昨年度の成果であるUeno et al. (NIPS 2012)の重み付尤度に基づく方策探索法の枠組みをヒトの心理状態に対応する潜在変数を導入した混合型の方策関数に拡張し、潜在変数に関する統計モデルの推定と各モジュールでの強化学習を同時に実行するための理論体系を導出した。さらに、最適な方策パラメータを求める際に用いるQ関数をカーネル近似することにより実用的なアルゴリズムを開発・実装した。
昨年度から継続実施しているEEG信号の非定常性も考慮した脳活動の情報表現の研究については、非定常性に対してロバストな情報表現を構築するための方法として、maxmin-CSP（Kawanabe et al., 2014）、ベータダイバージェンスによるCSP法（Samek et al., 2013）、ダイバージェンスに基づく空間フィルタ構築法の一般的な枠組み（Samek et al. 2014）などの学術的成果を達成した。最終年度は、非定常なヒトのEEG信号の遷移を記述するモデルおよび解析結果からの知見と上記の強化学習アルゴリズムに反映し、取得予定のBMIデータに適用する。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

共適応BMIのための強化学習アルゴリズムは一部最終年度の研究項目であるヒトの心理状態を表す潜在変数を取り入れた形でのモデルに基づいて開発を行っている。本年度はオンライン共適応BMIシステムの評価のために、実環境とのインタラクションが複雑になるロボットカー制御によるフィードバックではなく、データ取得がより容易なランプを用いたフィードバックシステムを構築することとした。この変更により最終目標の達成にむけより効率的な研究開発が期待される。

Strategy for Future Research Activity

今後は、EEG信号の非定常性に関する解析とモデル化をさらに進め、ヒトの潜在的心理状態を考慮した強化学習システムを完成・性能評価するとともに、成果の最終とりまとめを行う。

Expenditure Plans for the Next FY Research Funding

直接経費次年度使用額が0以外であるのは、H25年度に2台購入予定であったワークステーションをより高性能なもの1台に変更し、システムを実装する研究補助員を雇用する代わりに、その一部であるフィードバック可視化システム構築の外注に振り替えたためである。
最終年度に必要なオンライン共適応BMIシステムの評価を行うためのワークステーション1台を追加購入し、実験データを保存するためのストレージを2台購入する予定である。また、システム実装を完了するために必要な研究補助員雇用もしくは外注を実施する。

Research Products

• [Journal Article] Decoding spatial attention by using cortical currents estimated from electroencephalography with near-infrared spectroscopy prior information (2014)
  • Author(s): Morioka, H., Kanemura, A., Morimoto, S., Yoshioka, T., Oba, S., Kawanabe, M., and Ishii, S.
  • Journal Title: NeuroImage Volume: 90 Pages: 128-139
  • DOI: 10.1016/j.neuroimage.2013.12.035
  • Peer Reviewed
• [Journal Article] Robust common spatial filters with a maxmin approach (2014)
  • Author(s): Kawanabe, M., Samek, W., Mueller, K.-R., and Vidaurre, C.
  • Journal Title: Neural Computation Volume: 26 Pages: 349-376
  • DOI: 10.1162/NECO_a_00544
  • Peer Reviewed
• [Journal Article] Divergence-based framework for common spatial patterns algorithms (2014)
  • Author(s): Samek, W., Kawanabe, M., and Mueller, K.-R.
  • Journal Title: IEEE Reviews in Biomedical Engineering Volume: 7 Pages: 50-72
  • DOI: 10.1109/RBME.2013.2290621
  • Peer Reviewed
• [Journal Article] Active learning for noisy oracle via density power divergence (2013)
  • Author(s): Sogawa, Y., Ueno, T., Kawahara, Y., and Washio, T.
  • Journal Title: Neural Networks Volume: 46 Pages: 133-143
  • DOI: 10.1016/j.neunet.2013.05.007
  • Peer Reviewed
• [Presentation] Robust feature construction against non-stationarity for EEG-BMI decoders (2014)
  • Author(s): Kawanabe, M.
  • Organizer: 2nd International Winter Workshop on Brain-Computer Interface
  • Place of Presentation: High1 Resort, Korea
  • Year and Date: 20140217-20140219
  • Invited
• [Presentation] Robust spatial filtering with beta divergence (2013)
  • Author(s): Samek, W., Blythe, D., Mueller, K.-R., and Kawanabe, M.
  • Organizer: Neural Information Processing Systems (NIPS) 2013
  • Place of Presentation: Lake Tahoe, Nevada (USA)
  • Year and Date: 20131205-20131210
• [Presentation] A waypoint-based framework in brain-controlled smart home environments: brain interfaces, domotics, and robotics integration (2013)
  • Author(s): Kanemura, A., Morales, Y., Kawanabe, M., Morioka, H., Kallakuri, N., Ikeda, T., Miyashita, T., Hagita, N., and Ishii, S.
  • Organizer: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2013)
  • Place of Presentation: 東京ビッグサイト（東京都）
  • Year and Date: 20131103-20131107
• [Presentation] A Waypoint-based Framework and Data-driven Decoder for Brain-Machine Interface in Smart Home Environments (2013)
  • Author(s): Kawanabe, M., Kanemura, A., Morales, Y., Morioka, H., Kallakuri, N., Ikeda, T., Miyashita, T., Hagita, N., and Ishii, S.
  • Organizer: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2013), Workshop on Neuroscience and Robotics: Towards a robot-enabled, neuroscience-guided healthy society
  • Place of Presentation: 東京ビッグサイト（東京都）
  • Year and Date: 20131103-20131103
  • Invited
• [Presentation] Finding structured dictionary representation by network-flow optimization (2013)
  • Author(s): Kanemura, A., Yuan, J., and Kawahara, Y.
  • Organizer: Workshop on Data Discretization and Segmentation for Knowledge Discovery (DDS)
  • Place of Presentation: Yokohama, Japan
  • Year and Date: 20131027-20131027
• [Presentation] Semiparametric Statistical Inference to Reinforcement learning (2013)
  • Author(s): Ueno, T.
  • Organizer: Beroulli Society Satellite Meeting to the ISI World Statistics Congress
  • Place of Presentation: 東京大学（東京都）
  • Year and Date: 20130902-20130904
  • Invited
• [Presentation] 聴覚注意を用いたブレインマシンインタフェースに関する基礎的検討 (2013)
  • Author(s): 石堂なつみ，小川剛史，森本智志，兼村厚範，丸山雅紀，川鍋一晃，石井信，猿渡洋，中村哲，鹿野清宏
  • Organizer: 2013年度応用音響研究会（予稿：電子情報通信学会技術研究報告EA，vol. 113，no. 134，pp. 51-56）
  • Place of Presentation: 北海道医療大学（北海道）
  • Year and Date: 20130718-20130718
• [Presentation] Decoding of spatial attention from cortical currents estimated from EEG with NIRS prior (2013)
  • Author(s): Morioka, H., Kanemura, A., Morimoto, S., Yoshioka, T., Kawanabe, M., and Ishii, S.
  • Organizer: 第36回日本神経科学大会、第56回日本神経化学会大会、第23回日本神経回路学会大会（Neuro2013）
  • Place of Presentation: 国立京都国際会館（京都府）
  • Year and Date: 20130620-20130620
• [Presentation] An auditory ERP-based BMI for a universal controller in a real environment (2013)
  • Author(s): Ishido, N., Morimoto, S., Kanemura, A., Maruyama, M., Kawanabe, M., Ishii, S., Saruwatari, H., and Shikano, K.
  • Organizer: 第36回日本神経科学大会、第56回日本神経化学会大会、第23回日本神経回路学会大会（Neuro2013）
  • Place of Presentation: 国立京都国際会館（京都府）
  • Year and Date: 20130620-20130620
• [Presentation] 学習による制御: 強化学習 (2013)
  • Author(s): 植野剛
  • Organizer: 計測・制御・システム工学部会シンポジウム
  • Place of Presentation: 東日本製鉄所見学センター（千葉県）
  • Year and Date: 20130619-20130619
  • Invited