• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2010 年度 実績報告書

あいまいで変動する環境におけるモジュール型意思決定モデルの研究

研究課題

研究課題/領域番号 21300113
研究機関京都大学

研究代表者

石井 信  京都大学, 情報学研究科, 教授 (90294280)

研究分担者 中村 泰  大阪大学, 工学研究科, 助教 (70403334)
前田 新一  京都大学, 情報学研究科, 助教 (20379530)
キーワード強化学習 / モジュールアーキテクチャ / 計算論的神経科学 / ロボット / 非侵襲脳計測
研究概要

あいまいで変動する環境において、効率よく意思決定を行うモジュール型意思決定モデルとそのための学習アルゴリズムを、特に強化学習とベイズ推定に着目しながら開発する。ロボット実験、ヒト行動・認知実験などと統合した融合研究を実施している。
モジュール型意思決定アルゴリズムの開発と評価:状況によって、探索と搾取を切り替えるマルチモジュール型システム同定強化学習法を策定し、そのパラメータをヒト被験者の行動実験から決めるようにした(Adomi, et al., 2010)。複数の基底関数から線形表現される価値関数のオンライン学習において、基底関数を動的に配置するモジュール型強化学習アルゴリズムを導出して、従来法よりも効率が良いことを示した(Mori and Ishii, to appear)。また、昨年までに導出した、価値関数ベースの強化学習法のセミパラメトリック統計に基づく一般系について(Ueno, et al., in press)、さらに関数近似にバイアスがある場合について理論的究明を行った(Ueno, et al., submitted)。
意思決定モデルの脳内実装可能性の評価:不観測変数が多次元となる環境における推論過程に関して、行動実験および核磁気共鳴図(MRI)を用いた非侵襲脳活動計測実験をヒト被験者に課すことにより、脳内神経基盤を探っている。探索と搾取を切り替えるモデルは被験者行動を良く説明できることが分かり(Adomi, et al., 2010)、これに基づき、探索・搾取切り替えに関わる脳内情報処理基盤を論じた(Shikauchi, et al., 2010)。また、被験者の脳内推論状況をMRI信号と行動データから統計モデルを用いてデコードする研究を継続実施中である。
多関節ロボットの制御実験:ヒトの上肢を模した多関節ロボットについて、過去に蓄積したデータからの評価に基づく制御法を開発し、その成果を国際会議に投稿中である。

  • 研究成果

    (7件)

すべて 2010 その他

すべて 雑誌論文 (3件) (うち査読あり 3件) 学会発表 (3件) 図書 (1件)

  • [雑誌論文] Generating circular motion of a human-like robotic arm using attractor selection model.2010

    • 著者名/発表者名
      A.Sugahara, Y.Nakamura, I.Fukuyori, Y.Matsumoto, H.Ishiguro
    • 雑誌名

      Journal of Robotics and Mechatronics

      巻: 22(3) ページ: 315-321

    • 査読あり
  • [雑誌論文] Visual attention model involving feature-based inhibition of return.2010

    • 著者名/発表者名
      S.Hotta, S.Oba, S.Ishii
    • 雑誌名

      Artificial Life and Robotics

      巻: 15(2) ページ: 129-132

    • 査読あり
  • [雑誌論文] Generalized TD learning.

    • 著者名/発表者名
      T.Ueno, S.Maeda, M.Kawanabe, S.Ishii
    • 雑誌名

      Journal of Machine Learning Research

      巻: (to appear)

    • 査読あり
  • [学会発表] Sparse and low-rank estimation of time-varying Markov networks with alternating direction method of multipliers2010

    • 著者名/発表者名
      J.Hirayama, A.Hyvarinen, S.Ishii
    • 学会等名
      International Conference on Neural Information Processing
    • 発表場所
      Sydney, Australia
    • 年月日
      2010-11-22
  • [学会発表] Hidden Markov model for human decision process in a partially observable environment2010

    • 著者名/発表者名
      M.Adomi, Y.Shikauchi, S.Ishii
    • 学会等名
      International Conference on Artificial Neural Networks
    • 発表場所
      Thessaloniki, Greece
    • 年月日
      2010-09-17
  • [学会発表] Separation of exploration and exploitation in maze navigation task2010

    • 著者名/発表者名
      Y.Shikauchi, M.Adomi, S.Ishii
    • 学会等名
      Neuro2010
    • 発表場所
      Kobe, Japan
    • 年月日
      2010-09-01
  • [図書] 科学, 80(12),分担執筆2010

    • 著者名/発表者名
      石井信
    • 総ページ数
      1188
    • 出版者
      岩波書店

URL: 

公開日: 2012-07-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi