Deep reinforcement learning in multi-player imperfect-information games

• Project/Area Number: 21K19816
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 62:Applied informatics and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: Kaneko Tomoyuki 東京大学, 大学院総合文化研究科, 教授 (00345068)
• Project Period (FY): 2021-07-09 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000); Fiscal Year 2023: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
• Keywords: ゲームプログラミング

Outline of Research at the Start

不完全情報かつ多人数のゲームという協調や裏切りもある複雑な環境で、賢く振る舞うエージェントを作ることを目指す。不完全情報とは観測できない状態が存在することで、多人数とは敵にも味方にもなりうる他者が存在することである。二人完全情報ゲームで成果をあげた Alpha Zeroと比較すると、不完全情報のために相手に手を読まれる度合いを考慮した高度なモデル化と探索を行う。ポーカーで成果を上げた Counterfactual Regret最小化と比較すると、重要な範囲に絞って強化学習を行うことで計算コストを軽減し、より大きな問題に適用可能とする。

Outline of Final Research Achievements

This study focuses on reinforcement learning in multi-agent and imperfect information games where AI agents learn a given game throughout trials and errors in playing without human assistance. Our contribution includes mathematical models of agents understanding an environment in latent spaces, computational experiments for performance evaluation, and published papers.

Academic Significance and Societal Importance of the Research Achievements

強化学習は、最近では LLMs のような自然言語を操る巨大AIモデルの学習まで含む、広いを応用範囲を持つこれからの社会の基盤技術である。この強化学習技術を成熟させ、誰もが使えるようになることは自由な研究ひいては社会活動のために重要と考えられる。AlphaZeroのような2人完全情報ゲームに対象を限定した場合と比べて、現実の諸問題への強化学習技術の応用はさまざまな難しさを含むが、本研究課題はその解消に向けて2人や完全情報という制限を外した際の難しさを扱った。

Research Products

• [Journal Article] DEIR: Efficient and robust exploration through discriminative-model-based episodic intrinsic rewards (2023)
  • Author(s): Wan and Tang and Tian and Kaneko
  • Journal Title: IJCAI Volume: ijcai.2023 Pages: 4289-4298
  • DOI: 10.24963/ijcai.2023/477
  • Peer Reviewed / Open Access
• [Journal Article] Curiosity-driven exploration for cooperative multi-agent reinforcement learning (2023)
  • Author(s): Xu and Kaneko
  • Journal Title: IEEE international joint conference on neural networks Volume: IJCNN54540.2023 Pages: 1-8
  • DOI: 10.1109/ijcnn54540.2023.10191336
  • Peer Reviewed
• [Journal Article] Curiosity-driven exploration for cooperative multi-agent reinforcement learning (2023)
  • Author(s): Xu and Kaneko
  • Journal Title: IEEE ijcnn Volume: -
  • Peer Reviewed
• [Journal Article] Learning strategies for imperfect information board games using depth-limited counterfactual regret minimization and belief state (2022)
  • Author(s): Chen and Kaneko
  • Journal Title: IEEE international conference on games Volume: - Pages: 486-493
  • DOI: 10.1109/cog51982.2022.9893713
  • Peer Reviewed
• [Journal Article] Improving counterfactual regret minimization agents training in card game cheat using ordered abstraction (2022)
  • Author(s): Yi and Kaneko
  • Journal Title: Advances in computer games 2021 Volume: - Pages: 3-13
  • DOI: 10.1007/978-3-031-11488-5_1
  • ISBN: 9783031114878, 9783031114885
  • Peer Reviewed
• [Journal Article] 3x3盤面の2048の完全解析と強化学習の研究 (2022)
  • Author(s): 山下 金子 中屋敷
  • Journal Title: 第27回ゲームプログラミングワークショップ Volume: - Pages: 34-41
  • Peer Reviewed
• [Journal Article] Improving counterfactual regret minimization agents training in card game cheat using ordered abstraction (2021)
  • Author(s): C. Yi and T. Kaneko
  • Journal Title: Advances in computers and games Volume: -
  • Peer Reviewed
• [Journal Article] Local coordination in multi-agent reinforcement learning (2021)
  • Author(s): F. Xu and T. Kaneko
  • Journal Title: International conference on technologies and applications of artificial intelligence Volume: -
  • Peer Reviewed
• [Journal Article] Improve counterfactual regret minimization agents training by setting limitations of numbers of steps in games (2021)
  • Author(s): C. Yi and T. Kaneko
  • Journal Title: 26th game programming workshop Volume: - Pages: 117-123
  • Peer Reviewed / Open Access
• [Journal Article] Prediction of werewolf players by sentiment analysis of game dialogue in japanese (2021)
  • Author(s): Y. Sun and T. Kaneko
  • Journal Title: 26th game programming workshop Volume: - Pages: 186-191
  • Peer Reviewed / Open Access
• [Journal Article] ついたて王手どうぶつしょうぎの提案とCFRによる戦略の学習 (2021)
  • Author(s): 中屋敷 金子
  • Journal Title: 第26回ゲームプログラミングワークショップ Volume: - Pages: 34-41
  • NAID: 170000185756
  • Peer Reviewed / Open Access
• [Presentation] 4x3 盤面の 2048 の完全解析 (2023)
  • Author(s): 山下 金子
  • Organizer: 第28回ゲームプログラミングワークショップ
• [Presentation] 将棋における変則ルール「将棋 81 万」の提案と深層強化学習への応用 (2023)
  • Author(s): 出村 金子
  • Organizer: 第28回ゲームプログラミングワークショップ