Cooperative Strategy Learning and Knowledge Evolution to Adapt to Dynamism in Unknown Cooperation and Environment in Multi-agent System

Research Project

Project/Area Number	21KK0206
Research Category	Fund for the Promotion of Joint International Research (Fostering Joint International Research (A))
Allocation Type	Multi-year Fund
Review Section	Basic Section 61030:Intelligent informatics-related
Research Institution	Okayama University
Principal Investigator	Uwano Fumito 岡山大学, 自然科学学域, 助教 (30880687)
Project Period (FY)	2022
Project Status	Completed (Fiscal Year 2022)
Budget Amount *help	¥6,890,000 (Direct Cost: ¥5,300,000、Indirect Cost: ¥1,590,000)
Keywords	進化計算 / 強化学習 / 未知環境 / 知識転移 / マルチエージェントシステム
Outline of Research at the Start	本国際共同研究は，基課題（若手研究「未知の協調・環境を想定したマルチエージェント強化学習の知識転移」研究課題21K17807）において，実問題を想定した動的環境へ展開するために，動的な未知の環境・協調へ追従するための知識生成法を提案する．具体的には，解釈可能な知識を生成する進化的機械学習を利用して，限られた状況から学習した知識を適応的に進化させることで未知の協調・環境における知識を網羅し，エージェント群がそれを転移させて多様な協調戦略を学習することで，協調・環境の未知の性質が動的変化する際もその適応を可能にし，その戦略を解釈可能な知識として保持することを可能にする．
Outline of Final Research Achievements	This study proposed a new method for learning by considering the similarity between sequential transition states and unknown situations in the environment with perceptual aliasing by constructing new knowledge from the parts of the knowledge. That method contributes the learning in an unknown situation such that the robots can adapt to the unknown situation using the past observed data, and adapt to the sequential aliased states using hierarchically structured knowledge for expressing the sequential patterns of the environment.
Academic Significance and Societal Importance of the Research Achievements	本成果は，エージェントの数や環境の変化によって未経験の状況に直面しても，自身の知識を最大限に利用してそれに追従し，目的を達成する上で最適な行動を学習可能であるという点において重要な成果である．それに加えて，学習結果を人間が解釈可能な知識として保存可能な点も，今後のロボット系研究において重要である．なお，本成果は当該分野のトップカンファレンスであるGECCO 2023において発表する予定である．