Performance Analysis of a Reinforcement Learning Agent Using Multivariate Analysis Method Based on Dimension Reduction

2008 Fiscal Year Final Research Report

• Project/Area Number: 19500172
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Hachinohe National College of Technology
• Principal Investigator: KAMAYA Hiroyuki Hachinohe National College of Technology, 電気情報工学科, 教授 (70224657)
• Co-Investigator(Renkei-kenkyūsha): KUDOH Norimasa 八戸工業高等専門学校, 電気情報工学科, 教授 (40270194)
• Project Period (FY): 2007 – 2008
• Keywords: 強化学習 / 関数近似 / 自律移動ロボット

Research Abstract

高次元の連続状態空間を直接扱うことのできるモデル追加型の強化学習アルゴリズムを開発した。このアルゴリズムの最大の特徴は、関数近似器のパラメータをうまく設定することで、モデル数を小さく抑えつつも良好な学習性能を実現できる点にある。このため、まず、パラメータの挙動解析を行い、最良のパラメータを見出した。つぎに、10次元の連続状態空間をもつ移動ロボットの移動障害物回避問題に適用し、有効性を確認した。

Research Products

• [Journal Article] 関数近似手法を用いた強化学習アルゴリズム (2008)
  • Author(s): 釜谷博行、藤村敦子、工藤憲昌、阿部健一
  • Journal Title: 八戸工業高等専門学校紀要 43号 Pages: 65-68
  • Peer Reviewed
• [Journal Article] 連続状態空間のための強化学習アルゴリズム (2007)
  • Author(s): 釜谷博行、 阿部健一
  • Journal Title: 八戸工業高等専門学校紀要 42号 Pages: 65-68
  • Peer Reviewed
• [Presentation] 高次元連続状態空間における強化学習-局所重み付き回帰手法を用いた価値関数近似- (2009)
  • Author(s): 一井宏次、釜谷博行、工藤憲
  • Organizer: 計測自動制御学会
  • Place of Presentation: 八戸工業高等専門学校
  • Year and Date: 2009-06-19
• [Presentation] 局所重み付き回帰手法を用いた強化学習 (2009)
  • Author(s): 一井宏次、釜谷博行、阿部健一
  • Organizer: 電気学会全国大会
  • Place of Presentation: 北海道大学
  • Year and Date: 2009-03-19
• [Presentation] 強化学習のための局所重み付き回帰手法を用いた価値関数近似 (2008)
  • Author(s): 一井宏次、釜谷博行
  • Organizer: 電気関係学会
  • Place of Presentation: 日本大学工学部
  • Year and Date: 2008-08-22
• [Presentation] 適応周波数推定法の検討とその一応用 (2007)
  • Author(s): 工藤憲昌、田所嘉昭
  • Organizer: 計測自動制御学会
  • Place of Presentation: 八戸工業大学
  • Year and Date: 2007-06-15