Multi-agent Reinforcement Learning for Cooperative Policy with Different Abstraction

2021 Fiscal Year Final Research Report

• Project/Area Number: 20K23326
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: Okayama University
• Principal Investigator: Uwano Fumito 岡山大学, 自然科学学域, 助教 (30880687)
• Project Period (FY): 2020-09-11 – 2022-03-31
• Keywords: マルチエージェントシステム / 強化学習 / ニューラルネットワーク / 情報粒度 / 協調

Outline of Final Research Achievements

This research analyzed deep reinforcement learning agents’ performance in multiagent system with agents having different resolution in input each other to clarify the neural network can abstract the resolution appropriately. Furthermore, this research extended the previous method which enable agents to learn cooperative policy each other in dynamic environment into deep reinforcement learning to result the agents learned a cooperative policy in multiagent maze problem with agents having different resolution in input. At the end, this research introduced LSTM which can learn in time-sequential data into the proposed method to result that the agents can learn synchronously in that maze problem with environment being extended to dynamic one.

Free Research Field

分散人工知能

Academic Significance and Societal Importance of the Research Achievements

本研究により，従来のマルチエージェント強化学習では取り上げられることのなかった入力情報の粒度の異なる状況に対する追従という新たな学問分野を切り開くことができた．また，実問題に即して考えてみても，例えば複数ロボットの協働制御を考えたときに，ロボットごとのセンサの粒度が異なることや，故障などの状況により得られる情報の粒度が変化することは一般的だが，マルチエージェント強化学習ではあまり考えられることがなかったため，実問題における性能がシミュレーションと比べて高くない傾向にあった．本研究成果による方法論で，マルチエージェント強化学習を実問題に応用する上での性能向上に寄与できたと考えられる．