複雑な学習問題に対するPSOに基づく群強化学習法の適用

2012 年度 研究成果報告書

• 研究課題/領域番号: 22500131
• 研究種目: 基盤研究(C)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 京都工芸繊維大学
• 研究代表者: 飯間 等 京都工芸繊維大学, 工芸科学研究科, 准教授 (70273547)
• 研究分担者: 黒江 康明 京都工芸繊維大学, 工芸科学研究科, 教授 (10153397)
• 研究期間 (年度): 2010 – 2012
• キーワード: 強化学習 / PSO / 群知能

研究概要

短時間で最適な方策を学習するために、Particle Swarm Optimization(PSO)に基づく群強化学習法を提案し、連続状態行動空間を有する問題などの複雑な強化学習問題に提案方法を適用した。提案方法はエージェントと環境の組(これを学習世界と呼ぶ)を複数用意し、各学習世界のエージェントが個別に通常の強化学習法を用いて学習を行うとともに、PSO の更新式を用いた学習世界間の情報交換による学習も行う方法である。

研究成果

• [雑誌論文] 連続状態行動空間を有する問題に対する群強化学習法 (2012)
  • 著者名/発表者名: 飯間 等、黒江康明
  • 雑誌名: 計測自動制御学会論文集 巻: 48巻 ページ: 790-798
  • DOI: DOI:10.9746/sicetr.48.790
  • 査読あり
• [雑誌論文] Multi-Objective Reinforcement Learning Method for Acquiring All Pareto Optimal Policies Simultaneously (2012)
  • 著者名/発表者名: Yusuke Mukai、Yasuaki Kuroe、Hitoshi Iima
  • 雑誌名: Proceedings of 2012 IEEE International Conference on Systems, Man and Cybernetics ページ: 1917-1923
  • DOI: DOI:10.1109/ICSMC.2012.6378018
  • 査読あり
• [雑誌論文] Swarm Reinforcement Learning Methods for Problems with Continuous State-Action Space (2011)
  • 著者名/発表者名: Hitoshi Iima 、Yasuaki Kuroe 、Kazuo Emoto
  • 雑誌名: Proceedings of 2011 IEEE International Conference on Systems, Man and Cybernetics ページ: 2173-2180
  • DOI: DOI:10.1109/ICSMC.2011.6083999
  • 査読あり
• [雑誌論文] Swarm Reinforcement Learning Method Based on an Actor-Critic (2010)
  • 著者名/発表者名: Hitoshi Iima 、Yasuaki Kuroe
  • 雑誌名: Proceedings of Eighth International Conference on Simulated Evolution and Learning
  • DOI: DOI:10.1007/978-3-642-17298-4_29
  • 査読あり
• [学会発表] Particle Swarm Optimization に基づくタイルコーディングを用いた強化学習法 (2013)
  • 著者名/発表者名: 伊藤 洋
  • 学会等名: 計測自動制御学会第40回知能システムシンポジウ
  • 発表場所: 京都工芸繊維大学
  • 年月日: 2013-03-14
• [学会発表] フォーメーション形成問題に対するParticle Swarm Optimization に基づく群強化学習法 (2012)
  • 著者名/発表者名: 飯間 等
  • 学会等名: 第57回システム制御情報学会研究発表講演会
  • 発表場所: 兵庫県民会館
  • 年月日: 2012-05-17
• [学会発表] 高次元連続状態行動空間の問題に対する群強化学習法 (2011)
  • 著者名/発表者名: 飯間 等
  • 学会等名: 計測自動制御学会システム・情報部門学術講演会2011
  • 発表場所: 東京都国立オリンピック記念青少年総合センター
  • 年月日: 2011-11-21
• [学会発表] 寿命を設定した自己最良値を用いたParticle Swarm Optimization に基づく群強化学習法 (2010)
  • 著者名/発表者名: 飯間 等
  • 学会等名: 計測自動制御学会システム・情報部門学術講演会2010 講演論文集
  • 発表場所: キャンパスプラザ京都
  • 年月日: 2010-11-25
• [学会発表] 寿命のある自己最良値を用いたParticle Swarm Optimization に基づく群強化学習法 (2010)
  • 著者名/発表者名: 飯間 等
  • 学会等名: 第54回システム制御情報学会研究発表講演会
  • 発表場所: 京都リサーチパーク
  • 年月日: 2010-05-19