進化型ニューラルネットによるマルチエージェント強化学習手法

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14580421
• Research Institution: The University of Tokushima
• Principal Investigator: 小野 典彦 徳島大学, 工学部, 教授 (60194594)
• Co-Investigator(Kenkyū-buntansha): 小野 功 徳島大学, 工学部, 助教授 (00304551)
• Keywords: マルチエージェントシステム / マルチエージェント強化学習 / マルチエージェント学習 / 強化学習 / 進化計算 / 共進化 / ニューラルネット / 創発システム

Research Abstract

本研究の代表者らが提案している進化型ニュートラルネットに基づくマルチエージェント強化学習手法は,マルチエージェント強化学習を行う上で問題となる行動政策空間の爆発に対応可能なだけでなく,(i)連続および離散値の入出力への対応,(ii)連続および離散時間への対応ならびに(iii)大域的に良好な行動政策の獲得などの可能性を有しており,マルチエージェント強化学習手法の基本的枠組みとして有望である.
平成14年度は,以下の研究成果を得た.
●マルチエージェント強化学習手法としての評価:従来のマルチエージェント強化学習手法が備えていない上記の特色を有する進化型ニューラルネット手法をマルチエージェント強化学習手法として評価することを目的として,従来のマルチエージェント強化学習手法では対応が難しい型のマルチエージェントシステム設計問題を取り上げ,それらへの適用事例を通して,進化型ニューラルネット手法の有効性を確認した.適用事例としては,非同期型シーソー均衡化問題および2次元ホッケーゲームを取り上げた.
●競争的なマルチエージェント環境への応用を考慮した要素技術の開拓:RobCupサッカーに代表される対戦型ゲームは,各エージェントの絶対的な評価値を計算することができないために,進化計算に基礎をおく進化型ニューラルネット手法では対応が難しい.この問題点を克服するための要素技術として,対戦型ゲームのような競争的マルチエージェント環境におかれたエージェントの政策を共進化的に獲得するための共進化型世代交代モデルを提案し,その有効性を確認した.

Research Products

• [Publications] 道辻 壮哉: "進化型ニューラルネットによるサッカーエージェントの創発的設計"第46回システム制御情報学会研究発表講演会講演論文集. 545-546 (2002)
• [Publications] 間口 将行: "対戦型ゲームにおける行動政策の共進化的獲得のための世代交代モデル"第46回システム制御情報学会研究発表講演会講演論文集. 577-578 (2002)
• [Publications] 山元 隆行: "マルチエージェント強化学習への進化型ニューラルネットによる接近"計測自動制御学会システム・情報部門学術講演会予講集. (2002)
• [Publications] 伊吹 大介: "マルチエージェントによる対戦型ゲームヘの共進化的接近に関する実験的考察"第47回システム制御情報学会研究発表講演会講演論文集. (2003)
• [Publications] 寺坂 和也: "異種エージェントによる対戦型ゲームヘの共進化的接近に関する実験的考察"第47回システム制御情報学会研究発表講演会講演論文集. (2003)
• [Publications] 阿部 哲: "リカレントニューラルネットの構造と重みの進化的最適化のための世代交代モデルの提案"第47回システム制御情報学会研究発表講演会講演論文集. (2003)