次元圧縮のできる多変量解析手法を用いた強化学習エージェントの性能解析

2008 年度 研究成果報告書

• 研究課題/領域番号: 19500172
• 研究種目: 基盤研究(C)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 八戸工業高等専門学校
• 研究代表者: 釜谷 博行 八戸工業高等専門学校, 電気情報工学科, 教授 (70224657)
• 連携研究者: 工藤 憲昌 八戸工業高等専門学校, 電気情報工学科, 教授 (40270194)
• 研究期間 (年度): 2007 – 2008
• キーワード: 強化学習 / 関数近似 / 自律移動ロボット

研究概要

高次元の連続状態空間を直接扱うことのできるモデル追加型の強化学習アルゴリズムを開発した。このアルゴリズムの最大の特徴は、関数近似器のパラメータをうまく設定することで、モデル数を小さく抑えつつも良好な学習性能を実現できる点にある。このため、まず、パラメータの挙動解析を行い、最良のパラメータを見出した。つぎに、10次元の連続状態空間をもつ移動ロボットの移動障害物回避問題に適用し、有効性を確認した。

研究成果

• [雑誌論文] 関数近似手法を用いた強化学習アルゴリズム (2008)
  • 著者名/発表者名: 釜谷博行、藤村敦子、工藤憲昌、阿部健一
  • 雑誌名: 八戸工業高等専門学校紀要 43号 ページ: 65-68
  • 査読あり
• [雑誌論文] 連続状態空間のための強化学習アルゴリズム (2007)
  • 著者名/発表者名: 釜谷博行、 阿部健一
  • 雑誌名: 八戸工業高等専門学校紀要 42号 ページ: 65-68
  • 査読あり
• [学会発表] 高次元連続状態空間における強化学習-局所重み付き回帰手法を用いた価値関数近似- (2009)
  • 著者名/発表者名: 一井宏次、釜谷博行、工藤憲
  • 学会等名: 計測自動制御学会
  • 発表場所: 八戸工業高等専門学校
  • 年月日: 2009-06-19
• [学会発表] 局所重み付き回帰手法を用いた強化学習 (2009)
  • 著者名/発表者名: 一井宏次、釜谷博行、阿部健一
  • 学会等名: 電気学会全国大会
  • 発表場所: 北海道大学
  • 年月日: 2009-03-19
• [学会発表] 強化学習のための局所重み付き回帰手法を用いた価値関数近似 (2008)
  • 著者名/発表者名: 一井宏次、釜谷博行
  • 学会等名: 電気関係学会
  • 発表場所: 日本大学工学部
  • 年月日: 2008-08-22
• [学会発表] 適応周波数推定法の検討とその一応用 (2007)
  • 著者名/発表者名: 工藤憲昌、田所嘉昭
  • 学会等名: 計測自動制御学会
  • 発表場所: 八戸工業大学
  • 年月日: 2007-06-15