Evolution of Reward Appraisal Systems in Environments with Sequential Decision Making

2023 Fiscal Year Final Research Report

• Project/Area Number: 19K12118
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Nagoya Institute of Technology
• Principal Investigator: Moriyama Koichi 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (10361776)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: マルチエージェントシステム / 強化学習 / 協調 / 報酬設計 / 内発的動機付け / 進化 / 人工社会 / ゲーム

Outline of Final Research Achievements

This work investigated a mechanism in an agent in an environment with others that allows the agent to independently learn cooperative behavior from given rewards. In particular, this work used computer games requiring cooperation of multiple players as the environment where sequential decisions were necessary. In games where self-interested behavior failed to satisfy objectives, this work obtained positive results in proposals that invoke cooperative behavior through intrinsically generated rewards in the agent. Moreover, by proposing and investigating a simple game with the above properties, this work showed that cooperation may occur without the intrinsically generated rewards in such games.

Free Research Field

知能情報学

Academic Significance and Societal Importance of the Research Achievements

本研究では，個々が独立に報酬を最大化しようとする利己的な個体間の協力行動の発生について検討した．既存の利他的行動に関する数理的研究では主に進化を議論しているが，個体の学習の影響を考慮したものは少ない．本研究は，主に個体の学習に着目し，それを制御する報酬の設計を進化計算で試みたものである．学習における報酬設計は近年重要な課題となっており，学術的意義は大きい．また，既存の数理的研究では各行動が時間的に独立な場合の議論が多く，本研究のように過去の行動が未来に影響を及ぼす環境を対象としたものは少ない．さらに，今後のこの分野の研究の発展のため，このような環境の簡単な例を示したことは重要である．