研究概要 |
本年度の研究実績は以下の通りである. 1 マルチエージェント強化学習における学習モジュールの自動獲得:本研究の代表者らは,マルチエージェント強化学習において顕著に生ずる状態空間の組合せ的爆発を解消することを目指して,各エージェントの強化学習器をモジュール分割することによって,その状態空間を適度に圧縮表現することを可能とするモジュール分割型強化学習と呼ばれる手法を提案すると共に,その有効性を実験的に確認してきた.ここでは,モジュール分割型強化学習手法と進化的学習手法を融合することによって,エージェント群に,適切な状態空間表現(モジュール構造)を自動的に獲得させながら,それらが採用すべき協調行動を効果的かつ自動的に組織化させるためのマルチエージェント強化学習手法を設計し,追跡問題への適用を通して,その有効性を確認した. 2 進化型ニューラルネットによるマルチエージェント強化学習:モジュール分割型強化学習よりも強力な状態圧縮表現を実現することを目的として,エージェントの行動政策やその状態の価値関数を予め構造が決定された多層ニューラルネットによって表現すると共に,その重みベクトルを実数値GAによって自動的に最適化することに基礎をおく新しいマルチエージェント強化学習手法を提案した.本手法は,マルチエージェント強化学習における状態空間の爆発に対応可能なだけでなく,離散値・連続値が混在する入出力,大域的に良好な行動政策の探索,エージェント群による非同期的な意思決定などにも対応可能であり,単純で汎用のマルチエージェント強化学習手法となることが期待できる.ここでは特に,携帯電話網における動的チャネル割当て問題および非同期型シーソー均衡化問題などへの応用を通して,同手法の有効性を確認した.
|