| 研究概要 |
本研究の代表者らが提案してきた進化型ニューラルネットに基づくマルチエージェント強化学習手法は,マルチエージェント強化学習を行う上で問題となる行動政策空間の爆発に対応可能なだけでなく,(i)連続/離散値の入出力への対応,(ii)連続/離散時間への対応および(iii)大域的に良好な行動政策の獲得などの可能性を有しており,マルチエージェント強化学習手法の基本的枠組みとして有望であるが,RoboCupサッカー環境に代表される競争的な環境への適用が難しいという問題点があった.
本研究では,競争的環境の代表的応用領域として,対戦型ゲームに焦点を合わせ,良好な対戦型ゲーム戦略を創発的に設計するためのマルチエージェント強化学習手法の基本的枠組みを提案し,その有効性を実験的に確認した.具体的には,進化型ニューラルネット手法において採用されていた世代交代モデルMGGを発展させた共進化型世代交代モデルCMGGを提案すると共に,提案モデルにより,ランダムに生成された対戦型ゲーム戦略の集団を,それらの間の対戦結果に基づき,共進化的に最適化可能であることを実験的に確認した.実験では特に,関数近似ゲームおよびエアーホッケーゲームと呼ばれる対戦型ゲームへの適用を中心に,提案モデルの有効性を明らかにした.
提案モデルを現実的な問題領域に適用するためには,高速化,リカレントニューラルネットへの対応および遺伝的プログラミングとの融合などが必要となる.本研究では,これらの課題を解決するための要素技術として,(i)マルチエージェント探索手法,(ii)リカレントニューラルネットの荷重と構造の同時最適化のための世代交代モデルおよび(iii)遺伝的プログラミングにおける解の爆発的複雑化を回避可能な世代交代モデルを提案し,それらの有効性ならびに提案モデルとの融合の可能性に関する実験的評価を行った.
|
