• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

統計的学習に基づく強化学習に関する研究

研究課題

研究課題/領域番号 20700208
研究種目

若手研究(B)

配分区分補助金
研究分野 感性情報学・ソフトコンピューティング
研究機関京都大学

研究代表者

森 健  京都大学, 情報学研究科, 研究員 (00457144)

研究期間 (年度) 2008 – 2009
研究課題ステータス 完了 (2010年度)
配分額 *注記
2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2010年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2009年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2008年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワード強化学習 / 統計的学習
研究概要

多くの強化学習法では、ある状態である行動を取ることの将来的な良さを表す「価値関数」を近似する必要がある。最も広く行われている方法は、価値関数をパラメータと基底関数の内積で表現する線形関数近似を行う方法である。
基底関数は設計者の試行錯誤により得られる。自動的に基底関数を構築する方法もあるが、非常に大きな計算コストが掛かる。我々は、価値関数の近似誤差を逐次的に減少させる近似法を提案しており、本年度は主にこの業績化に取り組んだ。この方法は、設計者の事前の試行錯誤を必要とせず、また、計算コストも小さくて済む。基本的なアルゴリズムを国際会議論文として業績化し、それをロバストに改良したアルゴリズムについても国際会議論文として業績化した。アルゴリズムの性質を理論面および実験面においてより深め学術論文誌へ投稿したがまだ採録に至っていない。アルゴリズム全2体の統計的な性質をクリアにすることで、さらなる業績化が可能と考えている。
また、これまでに考案してきた統計的学習に基づく種々の強化学習アルゴリズムを、本科研費で購入した実機ロボットへ適用し学習を試みた。具体的には、レゴマインドストームを用いて二輪型ロボットを作製し、そのバランシングを新たな強化学習法を用いて行った。二輪型ロボットのバランシングを自動調整することは、自転車やバイクにおける個々人の運転の快適性を向上させることに貢献し、さらには事故率の低減にも繋がると考えている。

報告書

(2件)
  • 2009 実績報告書
  • 2008 実績報告書
  • 研究成果

    (7件)

すべて 2009 2008 その他

すべて 学会発表 (5件) 備考 (2件)

  • [学会発表] Robust approximation in decomposed reinforcement learning2009

    • 著者名/発表者名
      Takeshi Mori
    • 学会等名
      International Conference on Neural Information Processing
    • 発表場所
      Bangkok, Thailand
    • 年月日
      2009-12-04
    • 関連する報告書
      2009 実績報告書
  • [学会発表] An additive reinforcement learning2009

    • 著者名/発表者名
      Takeshi Mori
    • 学会等名
      International Conference on Artificial Neural Networks
    • 発表場所
      Limasol, Cyprus
    • 年月日
      2009-09-14
    • 関連する報告書
      2009 実績報告書
  • [学会発表] A continuous internal-state controller for partially observable Markov decision processes2008

    • 著者名/発表者名
      Yuki Taniguchi
    • 学会等名
      International Conference on Artificial Neural Networks
    • 発表場所
      Prague, Czech Republic
    • 年月日
      2008-09-04
    • 関連する報告書
      2008 実績報告書
  • [学会発表] Self-organized reinforcement learning based on policy gradient in nonstationary environment2008

    • 著者名/発表者名
      Yu Hiei
    • 学会等名
      International Conference on Artificial Neural Networks
    • 発表場所
      Prague, Czech Republic
    • 年月日
      2008-09-03
    • 関連する報告書
      2008 実績報告書
  • [学会発表] A semiparametric statistical approach to model-free policy evaluation2008

    • 著者名/発表者名
      Tsuyoshi Ueno
    • 学会等名
      International Conference on Machine Learning
    • 発表場所
      Helsinki, Finland
    • 年月日
      2008-07-06
    • 関連する報告書
      2008 実績報告書
  • [備考]

    • URL

      http://hawaii.sys.i.kyoto-u.ac.jp/~tak-mori/

    • 関連する報告書
      2009 実績報告書
  • [備考]

    • URL

      http://hawaii.sys.i.kyoto-u.ac.jp/~tak-mori/

    • 関連する報告書
      2008 実績報告書

URL: 

公開日: 2008-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi