• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Evaluation and Improvement of AlphaGo Method for Imperfect-Information, Stochastic, and Multiplayer Games

Research Project

Project/Area Number 20K12124
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 62040:Entertainment and game informatics-related
Research InstitutionKochi University of Technology

Principal Investigator

Matsuzaki Kiminori  高知工科大学, 情報学群, 教授 (30401243)

Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
KeywordsAlphaGo / 深層強化学習 / モンテカルロ木探索 / 確率的ゲーム / 不完全情報ゲーム / 非対称二人ゲーム / ゲームAI / 強化学習 / 多人数ゲーム
Outline of Research at the Start

Deepmind社によるAlphaGoが囲碁のトップ棋士を破ったニュースは、社会に広く衝撃を与えた。AlphaGo手法は、原理的にはこれまで解決が困難と考えられてきたさまざまな問題への適用が可能である。しかしながら、囲碁などのゲームと現実の問題との間には大きなギャップが存在する。そこで本研究では、「不完全情報」「確率的」の特徴を有するゲームをいくつか選択し、それらに対してAlphaGo手法を適用・評価する。それにより、AlphaGo手法を現実問題に適用する際に遭遇しうる課題を発見し、その解決策を探る。

Outline of Final Research Achievements

In this study, we first investigated the impact of different evaluation functions on overall performance of the PUCT search in the AlphaGo method, using the game "Othello". Next, we developed computer players using deep reinforcement learning for various games: a stochastic single-player game "2048", an imperfect information game "Geister", an asymmetric two-player game "Two-player 2048", and a multiplayer imperfect information game "DouDizhu". In particular, for "2048", we explored the possibility of applying a more lightweight learning method from the perspective of the necessity of the Policy function in the AlphaGo method.

Academic Significance and Societal Importance of the Research Achievements

AlphaGo手法 (後継であるAlphaGo Zero, AlphaZero, MuZeroを含む) は,チェス・将棋・囲碁のような二人完全情報ゲームにおいて人間を超える強さのプレイヤーを実現した.本研究は,不完全情報ゲームや確率的ゲームといったより困難なゲームに対してAlphaGo手法(または一般に深層強化学習)を適用する上で遭遇しうる問題点をいくつか明らかにした.特に,確率的ゲーム「2048」における深層強化学習において,確率的要素が学習を悪化させることを明らかにし,その対応方法につながる課題の発見に至った.

Report

(5 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (21 results)

All 2024 2023 2022 2021 2020

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (18 results) (of which Int'l Joint Research: 6 results)

  • [Journal Article] Evaluating the Influence of Imperfect Information in Geister Using DREAM Trained Agents2024

    • Author(s)
      Troillet Lucien、Matsuzaki Kiminori
    • Journal Title

      IEEE Transactions on Games

      Volume: - Issue: 3 Pages: 1-15

    • DOI

      10.1109/tg.2023.3324737

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Impact of Imperfect Information Estimation in the Game of Geister2022

    • Author(s)
      竹内 聖悟、栃川 純平、松崎 公紀
    • Journal Title

      情報処理学会論文誌

      Volume: 63 Issue: 3 Pages: 787-795

    • DOI

      10.20729/00217475

    • Year and Date
      2022-03-15
    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Developing Value Networks for Game 2048 with Reinforcement Learning2021

    • Author(s)
      Matsuzaki Kiminori
    • Journal Title

      Journal of Information Processing

      Volume: 29 Issue: 0 Pages: 336-346

    • DOI

      10.2197/ipsjjip.29.336

    • NAID

      130008025169

    • ISSN
      1882-6652
    • Related Report
      2021 Research-status Report 2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] ミニ2048の完全解析を用いたNタプルネットワーク+Expectimax探索プレイヤの分析2024

    • Author(s)
      寺内 俊輔, 松崎 公紀
    • Organizer
      第65回プログラミング・シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] モンテカルロ木探索の結果からの学習による2048プレイヤの開発2024

    • Author(s)
      渡邊 翔太, 松崎 公紀
    • Organizer
      情報処理学会第51回ゲーム情報学研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Using Strongly Solved Mini2048 to Analyze Players with N-tuple Networks2023

    • Author(s)
      Shunsuke Terauchi, Takaharu.Kubota, and Kiminori Matsuzaki
    • Organizer
      The 28th International Conference on Technologies and Applications of Artificial Intelligence (TAAI 2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Complete DouDizhu Agents: Bid Learning from Pretrained Cardplay2023

    • Author(s)
      Chuanfa Li, Lucien Troillet, and Kiminori Matsuzaki
    • Organizer
      2023 IEEE Conference on Games (CoG)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] AlphaDDA の局面評価値を用いた再評価2023

    • Author(s)
      久保田 留奈, 松崎 公紀
    • Organizer
      令和5年度 電気・電子・情報関係学会四国支部連合大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 対戦型2048におけるニューラルネットワークプレイヤとNタプルネットワークプレイヤの性能比較2023

    • Author(s)
      小田駿斗, 松崎公紀
    • Organizer
      情報処理学会第49回ゲーム情報学研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] Enhancement of CNN-based 2048 Player with Monte-Carlo Tree Search2022

    • Author(s)
      Shota Watanabe, Kiminori Matsuzaki
    • Organizer
      The 27th International Conference on Technologies and Applications of Artificial Intelligence (TAAI 2022)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Three Player Otrio will be Strongly Solved2022

    • Author(s)
      Runa Kubota, Lucien Troillet, Kiminori Matsuzaki
    • Organizer
      The 27th International Conference on Technologies and Applications of Artificial Intelligence (TAAI 2022)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 2048へのMC Softmax探索の適用2022

    • Author(s)
      渡邊翔太, 松崎公紀
    • Organizer
      情報処理学会ゲームプログラミングワークショップ2022
    • Related Report
      2022 Research-status Report
  • [Presentation] 対戦型2048 におけるニューラルネットワークプレイヤのαβ探索による強化2022

    • Author(s)
      小田駿斗, 松崎公紀
    • Organizer
      情報処理学会ゲームプログラミングワークショップ2022
    • Related Report
      2022 Research-status Report
  • [Presentation] Improving DNN-based 2048 Players with Global Embedding2022

    • Author(s)
      Weikai Wang, Kiminori Matsuzaki
    • Organizer
      IEEE International Conference on Games
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 探索結果の評価値に基づく手選択の工夫による相手に合わせた将棋AI2022

    • Author(s)
      荒武佑磨, 松崎公紀, 竹内聖悟
    • Organizer
      情報処理学会第48回ゲーム情報学研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] コンピュータ大貧民における手札推定の有効性についての再評価と考察2022

    • Author(s)
      中山友里歌, 植田桂広, 鴨川翔太, 松崎公紀
    • Organizer
      情報処理学会第48回ゲーム情報学研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 攻撃側が置くタイルの数を選択できる対戦型2048に対するニューラルネットワークプレイヤの学習2022

    • Author(s)
      小田 駿斗, 松崎 公紀
    • Organizer
      第63回プログラミング・シンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] Analysing simplified Geister using DREAM2021

    • Author(s)
      Lucien Troillet, Kiminori Matsuzaki
    • Organizer
      3rd IEEE Conference on Games
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] ニューラルネットワークと強化学習による対戦型2048プレイヤの作成2021

    • Author(s)
      横山 智洋,松崎 公紀
    • Organizer
      情報処理学会第62回プログラミングシンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] ニューラルネットワークを用いたガイスターの相手駒色推定とその拡張2021

    • Author(s)
      寺村舞童華, 松崎公紀
    • Organizer
      情報処理学会第45回ゲーム情報学研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] An Experimental Evaluation of PUCT Algorithm with Convolutional Neural Network Evaluation Functions2020

    • Author(s)
      Lucien Troillet, Kiminori Matsuzaki
    • Organizer
      情報処理学会第44回ゲーム情報学研究会
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi