2004 Fiscal Year Annual Research Report
競争的環境への応用を考慮した共進化型マルチエージェント強化学習手法
| Project/Area Number |
16500081
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
小野 典彦 徳島大学, 工学部, 教授 (60194594)
|
|---|
| Keywords | マルチエージェントシステム / 創発的設計 / 強化学習 / 進化計算 / 進化戦略 / 共進化 / 世代交代モデル / 対戦型ゲ |
|---|
| Research Abstract |
近年,種々の強化学習手法を応用して,エージェント群そのものに,試行錯誤的な相互作用を行わせながら,それらが採用すべき協調行動をボトムアップ的に組織化させ,それによってマルチエージェントシステムの設計者を支援しようとする試み(マルチエージェント強化学習)が数多くなされている.しかし,エージェント群に,従来の強化学習を適用して適切な協調行動を獲得させようとすると,各エージェントの行動政策空間は組合せ的に爆発してしまう.
本研究の代表者らが提案してきた進化型ニューラルネットに基づくマルチエージェント強化学習手法は,マルチエージェント強化学習を行う上で問題となる行動政策空間の爆発に対応可能なだけでなく,(i)連続および離散値の入出力への対応,(ii)連続および離散時間への対応ならびに(iii)大域的に良好な行動政策の獲得などの可能性を有しており,マルチエージェント強化学習手法の基本的枠組みとして有望であるが,RoboCupサッカー環境に代表される競争的な環境への適用が難しいという問題点があった.
平成16年度は,競争的環境の例として,RoboCupサッカーに代表される対戦型ゲームに焦点を合わせ,良好な対戦型ゲーム戦略を創発的に設計するためのマルチエージェント強化学習手法の基本的枠組みを提案し,その有効性を実験的に確認した.具体的には,進化型ニューラルネット手法において採用されていた世代交代モデルMGGを発展させた共進化型世代交代モデルCMGGを提案すると共に,提案モデルにより,ランダムに生成された対戦型ゲーム戦略の集団が,それらの間の対戦結果に基づき,共進化的に改善可能であることを実験的に検証した.実験では特に,対戦型関数近似ゲームおよび2次元エアーホッケーゲームと呼ばれる対戦型ゲームにおける戦略設計問題への適用を中心に,提案モデルCMGGの有効性を明らかにした.
|
