| 研究概要 |
近年,強化学習手法を応用して,マルチエージェント環境におかれた自律エージェント群そのものに,試行錯誤な相互作用を行わせ,それらが採用すべき協調行動をボトムアップ的に組織化させ,それによってマルチエージェントシステムの設計者を支援しようとする試み("マルチエージェント強化学習"と呼ぶ)が数多くなされている.しかし,マルチエージェント環境におかれた自律エージェント群に,従来の強化学習を適用して適切な協調行動を獲得させようとすると,各エージェントの状態空間は組合せ的に爆発してしまう.
本研究の代表者らは,各エージェントを適度に圧縮表現された状態空間上で強化学習させることによって,この問題点を回避し得ることを実験的に示してきた.この成果は強化学習に基づく現実的なマルチエージェントシステムの設計支援の可能性を示したという意味では重要であるが,これをさらに現実的なマルチエージェント強化学習手法として発展させるためには,状態空間の適切な圧縮表現を自動的に設計するための手法を確立する必要があった.
本研究では,代表者らが提案してきた上記のマルチエージェント強化学習手法と進化的計算を併用することによって,エージェント群に,適切な状態空間表現を自動的に獲得させながら,それらが採用すべき協調行動を効果的に組織化させるための手法を提案した.提案手法は,(i)状態空間の適切な圧縮表現の自動獲得を目指して提案されている従来手法よりも優れた圧縮表現を安定的に獲得可能であること,(ii)人手によって試行錯誤的に設計された圧縮表現よりも優れた圧縮表現を獲得可能であることが実験的に確認されており,マルチエージェントシステムを構成する自律エージェントの状態表現およぴその行動政策を人手に頼ることなく自動的に設計するための強力な要素技術を提供する.
|
