強化学習モデルによるヒトの潜在的な心理状態の予測に基づく共適応ＢＭＩ

• 研究課題/領域番号: 24300093
• 研究種目: 基盤研究(B)
• 配分区分: 一部基金
• 応募区分: 一般
• 研究分野: 感性情報学・ソフトコンピューティング
• 研究機関: 株式会社国際電気通信基礎技術研究所
• 研究代表者: 川鍋 一晃 株式会社国際電気通信基礎技術研究所, 認知機構研究所, 主任研究員 (30272389)
• 研究分担者: 兼村 厚範 独立行政法人産業技術総合研究所, ヒューマンライフテクノロジー研究部門, 研究員 (50580297) ; 植野 剛 大阪大学, 産業科学研究所, 招聘研究員 (90615824)
• 連携研究者: 鷲尾 隆 大阪大学, 産業科学研究所, 教授 (00192815)
• 研究期間 (年度): 2012-04-01 – 2015-03-31
• 研究課題ステータス: 完了 (2014年度)
• 配分額: 17,940千円 (直接経費: 13,800千円、間接経費: 4,140千円); 2014年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円); 2013年度: 6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円); 2012年度: 6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
• キーワード: ブレイン・マシン・インタフェース / 強化学習

研究成果の概要

ヒトの潜在的な心理状態に応じた柔軟なフィードバック・スキームを提供するリアルタイム共適応BMIアルゴリズムの確立をめざして、BMIデコーダ構築するための強化学習法と心理状態推定のための脳情報表現法を研究開発し、ランプによるBMIフィードバック装置を用いて評価実験を行った。前者については、重み付尤度に基づき、心理状態の次元数とその間の遷移則などに関する最適状態変数モデルの決定、適切な方策モデルの設計、およびそのもとでの強化学習を同時に行う枠組みを確立した。一方後者については、標準的な特徴量抽出法であるCSPを脳信号の被験者間の違いや非定常性に対してロバストにするための様々な一般化を提案した。

研究成果

• [雑誌論文] Learning a common dictionary for subject-transfer decoding with resting calibration (2015)
  • 著者名/発表者名: Morioka, H., Kanemura, A., Hirayama, J., Shikauchi, M., Ogawa, T., Ikeda, S., Kawanabe, M., and Ishii, S.
  • 雑誌名: NeuroImage 巻: 111 ページ: 167-178
  • DOI: 10.1016/j.neuroimage.2015.02.015
  • 査読あり / 謝辞記載あり
• [雑誌論文] Dynamic Connectivity Factorization: Interpretable decompositions of non-stationarity (2014)
  • 著者名/発表者名: Hyvarinen, A., Hirayama, J. and Kawanabe, M.
  • 雑誌名: Proc. of 4th International Workshop on Pattern Recognition in Neuroimaging (PRNI2014) 巻: - ページ: 1-4
  • DOI: 10.1109/prni.2014.6858524
  • 査読あり
• [雑誌論文] 極大クリーク列挙技術のビジネス応用とソフトウェアツール (2014)
  • 著者名/発表者名: 羽室行信，植野剛，鷲尾隆
  • 雑誌名: 電子情報通信学会誌 巻: 97 ページ: 1103-1109
  • 査読あり
• [雑誌論文] Decoding spatial attention by using cortical currents estimated from electroencephalography with near-infrared spectroscopy prior information (2014)
  • 著者名/発表者名: Morioka, H., Kanemura, A., Morimoto, S., Yoshioka, T., Oba, S., Kawanabe, M., and Ishii, S.
  • 雑誌名: NeuroImage 巻: 90 ページ: 128-139
  • DOI: 10.1016/j.neuroimage.2013.12.035
  • 査読あり / 謝辞記載あり
• [雑誌論文] Robust common spatial filters with a maxmin approach (2014)
  • 著者名/発表者名: Kawanabe, M., Samek, W., Mueller, K.-R., and Vidaurre, C.
  • 雑誌名: Neural Computation 巻: 26 号: 2 ページ: 349-376
  • DOI: 10.1162/neco_a_00544
  • 査読あり
• [雑誌論文] Divergence-based framework for common spatial patterns algorithms (2014)
  • 著者名/発表者名: Samek, W., Kawanabe, M., and Mueller, K.-R.
  • 雑誌名: IEEE Reviews in Biomedical Engineering 巻: 7 ページ: 50-72
  • DOI: 10.1109/rbme.2013.2290621
  • 査読あり
• [雑誌論文] Active learning for noisy oracle via density power divergence (2013)
  • 著者名/発表者名: Sogawa, Y., Ueno, T., Kawahara, Y., and Washio, T.
  • 雑誌名: Neural Networks 巻: 46 ページ: 133-143
  • DOI: 10.1016/j.neunet.2013.05.007
  • 査読あり
• [雑誌論文] 統計学習の観点から見たTD学習 (2013)
  • 著者名/発表者名: 植野剛,前田新一,川鍋一晃
  • 雑誌名: 計測と制御 巻: 52 ページ: 277-283
  • 査読あり
• [雑誌論文] Enhanced representation and multi-task learning for image annotation (2013)
  • 著者名/発表者名: Binder, A., Samek, W., Mueller, K.-R., Kawanabe, M.
  • 雑誌名: Computer Vision and Image Understanding 巻: 117 ページ: 466-478
  • 査読あり
• [雑誌論文] Brain-computer interfacing in discriminative and stationary subspaces (2012)
  • 著者名/発表者名: Samek, W., Mueller, K.-R.Kawanabe, M., Vidaurre, C.
  • 雑誌名: International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) ページ: 2873-2876
  • 査読あり
• [雑誌論文] Weighted Likelihood Policy Search with Model Selection (2012)
  • 著者名/発表者名: Ueno, T. , Hayashi, K., Washio, T.Kawahara, Y.
  • 雑誌名: Advances in Neural Information Processing Systems 巻: 25 ページ: 2366-2374
  • 査読あり
• [雑誌論文] Density Power Divergenceを用いたロバスト能動回帰学習 (2012)
  • 著者名/発表者名: 十河康弘,植野剛,河原吉伸,鷲尾隆
  • 雑誌名: 人工知能学会論文誌 巻: 28 ページ: 13-21
  • NAID: 130003362304
  • 査読あり
• [雑誌論文] Robust active learning for linear regression via density power (2012)
  • 著者名/発表者名: Sogawa, Y., Ueno, T., Kawahara, Y., Washio, T.
  • 雑誌名: Neural Information Processing 巻: 7665 ページ: 594-602
  • 査読あり
• [雑誌論文] Bootstrap confidence intervals in DirectLiNGAM (2012)
  • 著者名/発表者名: Thamvitayakul, K. Shimizu, S., Ueno, T., Washio, T., Tashiro, T.
  • 雑誌名: IEEE International Conference on Data Mining(ICDM) Workshop: Reliability Issues in KnowledgeDiscovery ページ: 659-668
  • 査読あり
• [学会発表] 日常環境ブレイン・マシン・インタフェースのための脳情報解読法について (2014)
  • 著者名/発表者名: 川鍋一晃
  • 学会等名: NAISTゼミナール1
  • 発表場所: 奈良先端科学技術大学院大学（奈良県）
  • 年月日: 2014-10-22
  • 招待講演
• [学会発表] ブレイン・マシン・インタフェースのための非定常性に対してロバストな脳波特徴量の構築法について (2014)
  • 著者名/発表者名: 川鍋一晃
  • 学会等名: 北陸先端科学技術大学院大学 情報科学研究科セミナー ワークショップ「脳機能イメージング信号処理の最前線」
  • 発表場所: 北陸先端科学技術大学院大学（石川県）
  • 年月日: 2014-10-17
  • 招待講演
• [学会発表] Subject-independent decoding from EEG through sparse learning of spatial bases common across sessions and subjects (2014)
  • 著者名/発表者名: Morioka, H., Kanemura, A., Hirayama, J., Ogawa, T., Ikeda, S., Kawanabe, M. and Ishii, S.
  • 学会等名: Advance in Neuroinformatics (AINI2014)
  • 発表場所: 理化学研究所（埼玉県）
  • 年月日: 2014-09-25 – 2014-09-26
• [学会発表] Subject-independent BMI through sparse learning of spatial bases common across sessions and subjects (2014)
  • 著者名/発表者名: Morioka, H., Kanemura, A., Hirayama, J., Shikauchi, M., Ogawa, T., Ikeda, S., Kawanabe, M. and Ishii, S.
  • 学会等名: 第37回日本神経科学大会（Neurosience2014)
  • 発表場所: パシフィコ横浜（神奈川県）
  • 年月日: 2014-09-11 – 2014-09-13
• [学会発表] 確率推論に基づく方策探索法 (2014)
  • 著者名/発表者名: 植野剛
  • 学会等名: 日本ロボット学会学術講演会
  • 発表場所: 九州産業大学（福岡県）
  • 年月日: 2014-09-04 – 2014-09-06
• [学会発表] 確率推論に基づく方策探索法 (2014)
  • 著者名/発表者名: 植野剛
  • 学会等名: 河原林ERATO AIセミナー
  • 発表場所: 国立情報学研究所（東京都）
  • 年月日: 2014-06-30
  • 招待講演
• [学会発表] Dynamic Connectivity Factorization: Interpretable decompositions of non-stationarity (2014)
  • 著者名/発表者名: Hyvarinen, A., Hirayama, J. and Kawanabe, M.
  • 学会等名: 4th International Workshop on Pattern Recognition in Neuroimaging (PRNI2014)
  • 発表場所: Tuebingen, Germany
  • 年月日: 2014-06-04 – 2014-06-06
• [学会発表] e射影に基づく方策探索法 (2014)
  • 著者名/発表者名: 植野剛
  • 学会等名: 人工知能学会全国大会（JSAI2014）
  • 発表場所: ひめぎんホール（愛媛県）
  • 年月日: 2014-05-12 – 2015-05-15
• [学会発表] Robust feature construction against non-stationarity for EEG-BMI decoders (2014)
  • 著者名/発表者名: Kawanabe, M.
  • 学会等名: 2nd International Winter Workshop on Brain-Computer Interface
  • 発表場所: High1 Resort, Korea
  • 招待講演
• [学会発表] 直接方策探索法の統計解析 (2013)
  • 著者名/発表者名: 植野剛
  • 学会等名: 統計的機械学習セミナー
  • 発表場所: 東京(招待講演)
  • 年月日: 2013-03-22
• [学会発表] Robust spatial filtering with beta divergence (2013)
  • 著者名/発表者名: Samek, W., Blythe, D., Mueller, K.-R., and Kawanabe, M.
  • 学会等名: Neural Information Processing Systems (NIPS) 2013
  • 発表場所: Lake Tahoe, Nevada (USA)
• [学会発表] A waypoint-based framework in brain-controlled smart home environments: brain interfaces, domotics, and robotics integration (2013)
  • 著者名/発表者名: Kanemura, A., Morales, Y., Kawanabe, M., Morioka, H., Kallakuri, N., Ikeda, T., Miyashita, T., Hagita, N., and Ishii, S.
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2013)
  • 発表場所: 東京ビッグサイト（東京都）
• [学会発表] A Waypoint-based Framework and Data-driven Decoder for Brain-Machine Interface in Smart Home Environments (2013)
  • 著者名/発表者名: Kawanabe, M., Kanemura, A., Morales, Y., Morioka, H., Kallakuri, N., Ikeda, T., Miyashita, T., Hagita, N., and Ishii, S.
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2013), Workshop on Neuroscience and Robotics: Towards a robot-enabled, neuroscience-guided healthy society
  • 発表場所: 東京ビッグサイト（東京都）
  • 招待講演
• [学会発表] Finding structured dictionary representation by network-flow optimization (2013)
  • 著者名/発表者名: Kanemura, A., Yuan, J., and Kawahara, Y.
  • 学会等名: Workshop on Data Discretization and Segmentation for Knowledge Discovery (DDS)
  • 発表場所: Yokohama, Japan
• [学会発表] 学習による制御: 強化学習 (2013)
  • 著者名/発表者名: 植野剛
  • 学会等名: 計測・制御・システム工学部会シンポジウム
  • 発表場所: 東日本製鉄所見学センター（千葉県）
  • 招待講演
• [学会発表] Semiparametric Statistical Inference to Reinforcement learning (2013)
  • 著者名/発表者名: Ueno, T.
  • 学会等名: Beroulli Society Satellite Meeting to the ISI World Statistics Congress
  • 発表場所: 東京大学（東京都）
  • 招待講演
• [学会発表] Decoding of spatial attention from cortical currents estimated from EEG with NIRS prior (2013)
  • 著者名/発表者名: Morioka, H., Kanemura, A., Morimoto, S., Yoshioka, T., Kawanabe, M., and Ishii, S.
  • 学会等名: 第36回日本神経科学大会、第56回日本神経化学会大会、第23回日本神経回路学会大会（Neuro2013）
  • 発表場所: 国立京都国際会館（京都府）
• [学会発表] An auditory ERP-based BMI for a universal controller in a real environment (2013)
  • 著者名/発表者名: Ishido, N., Morimoto, S., Kanemura, A., Maruyama, M., Kawanabe, M., Ishii, S., Saruwatari, H., and Shikano, K.
  • 学会等名: 第36回日本神経科学大会、第56回日本神経化学会大会、第23回日本神経回路学会大会（Neuro2013）
  • 発表場所: 国立京都国際会館（京都府）
• [学会発表] 聴覚注意を用いたブレインマシンインタフェースに関する基礎的検討 (2013)
  • 著者名/発表者名: 石堂なつみ，小川剛史，森本智志，兼村厚範，丸山雅紀，川鍋一晃，石井信，猿渡洋，中村哲，鹿野清宏
  • 学会等名: 2013年度応用音響研究会（予稿：電子情報通信学会技術研究報告EA，vol. 113，no. 134，pp. 51-56）
  • 発表場所: 北海道医療大学（北海道）
• [学会発表] 統計的画像処理におけるモデリングの方向性について (2012)
  • 著者名/発表者名: 兼村厚範
  • 学会等名: 人工知能学会基本問題研究会
  • 発表場所: 横浜(招待講演)
  • 年月日: 2012-11-17
• [学会発表] Weighted Likelihood Policy Searchの推定分散減少法 (2012)
  • 著者名/発表者名: 植野剛, 林浩平, 鷲尾隆, 河原吉伸
  • 学会等名: 人工知能学会基本問題研究会
  • 発表場所: 横浜
  • 年月日: 2012-11-17
• [学会発表] 確率推論に基づく強化学習・確率最適制御 (2012)
  • 著者名/発表者名: 植野剛
  • 学会等名: 第15回情報論的学習理論ワークショップ
  • 発表場所: 東京(招待講演)
  • 年月日: 2012-11-07
• [学会発表] 重み付き最尤推定に基づく方策探索法 (2012)
  • 著者名/発表者名: 植野剛, 林浩平, 鷲尾隆, 河原吉伸
  • 学会等名: 第15回情報論的学習理論ワークショップ
  • 発表場所: 東京
  • 年月日: 2012-11-07
• [学会発表] Semi-autonomous wheelchair navigation towards brain-controlled system (2012)
  • 著者名/発表者名: Morales, L. Y., Kallakuri, N.,兼村厚範,宮下敬宏,篠沢一彦,萩田紀博
  • 学会等名: 日本ロボット学会学術講演会
  • 発表場所: 札幌
  • 年月日: 2012-09-18
• [学会発表] 統計推論の観点から強化学習を考える (2012)
  • 著者名/発表者名: 植野剛
  • 学会等名: 統計数理セミナー
  • 発表場所: 東京(招待講演)
  • 年月日: 2012-07-27
• [学会発表] 多様体上での経路積分型制御 (2012)
  • 著者名/発表者名: 植野剛,河原吉伸,鷲尾隆
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 山口
  • 年月日: 2012-06-14