進化型ニューラルネットによるマルチエージェント強化学習手法

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14580421
• Research Institution: The University of Tokushima
• Principal Investigator: 小野 典彦 徳島大学, 工学部, 教授 (60194594)
• Co-Investigator(Kenkyū-buntansha): 小野 功 徳島大学, 工学部, 助教授 (00304551)
• Keywords: マルチエージェントシステム / マルチエージェント強化学習 / マルチエージェント学習 / 強化学習 / 進化計算 / 共進化 / ニューラルネット / 創発システム

Research Abstract

本研究の代表者らが提案している進化型ニューラルネットに基づくマルチエージェント強化学習手法は,マルチエージェント強化学習を行う上で問題となる行動政策空間の爆発に対応可能なだけでなく,現実的なマルチエジェントシステムを設計する上で要求される諸要件(連続/離散値の入出力への対応,連続/離散時間への対応ならびに大域的に良好な行動政策の獲得など)を満たしており,マルチエージェント強化学習手法の基本的枠組みとして有望である.
本研究では以下の成果を得た.
●マルチエージェント強化学習手法としての評価:従来のマルチエージェント強化学習手法が備えていない上記の特色を有する進化型ニューラルネット手法をマルチエージェント強化学習手法として評価することを目的として,従来手法では対応が難しい型のマルチエージェントシステム設計間題を取り上げ,それらへの適用事例を通して,進化型ニューラルネット手法の有効性を確認した.適用事例としては,非同期型シーソー均衡化問題および2次元ホッケーゲームを取り上げた.
●競争的なマルチエージェント環境への応用を考慮した要素技術の提案:RoboCupサッカーに代表される対戦型ゲームは,各エージェントの絶対的な評価値を計算することができないために,進化計算に基礎をおく進化型ニューラルネット手法では対応が難しい.この問題点を克服するための要素技術として,対戦型ゲームのような競争的マルチエージェント環境におかれたエージェントの政策を共進化的に獲得するための共進化型世代交代モデルさらにはその改良版を提案し,その有効性を確認した.
●進化型ニューラルネット手法の高速化のための要素技術の提案:進化計算に基礎をおく進化型ニューラルネット手法には膨大な計算量が要求される.この問題点を軽減するための要素技術として,例題とエージェントの共進化手法および進化戦略型ニューラルネット手法を提案し,それらの有効性を確認した.

Research Products

• [Publications] 橋 勇人: "対戦型ゲーム戦略の共進化的獲得に関する実験的考察"第48回システム制御情報学会研究発表講演会講演論文集. (2004)
• [Publications] 石本 匡哉: "ニューラルネットエージェントの例題の共進化に関する実験的考察"第48回システム制御情報学会研究発表講演会講演論文集. (2004)
• [Publications] 清水 雅也: "非同期的マルチエージェント系の政策獲得に関する実験的考察"第48回システム制御情報学会研究発表講演会講演論文集. (2004)
• [Publications] 北村 章: "リカレントニューラルネットの構造と重みの進化的最適化に関する実験的考察"第48回システム制御情報学会研究発表講演会講演論文集. (2004)
• [Publications] Hiroaki Imada: "A Grid-Oriented Genetic Algorithm Framework for Bioinformatics"New Generation Computing. 22・2. 177-186 (2004)
• [Publications] Hiroshi Takeichi: "A Genetic Hill Climbing for Function Optimization Using A Neighborhood Based on Interaction among Parameters"Proc.2003 Congress on Evolutionary Computation (CEC2003). 1251-1258 (2003)