AlphaZero toward Theoretical Values and Optimal Plays of Perfect Information Games
| Project/Area Number |
20K19946
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
HSUEH Chu Hsuan 北陸先端科学技術大学院大学, 先端科学技術研究科, 助教 (30847497)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | AlphaZero / ゲームの解析 / 最適戦略 / 理論値 / Tabular / ニューラルネットワーク / 完全情報ゲーム / 確率的なゲーム / Chinese dark chess / EinStein wurfelt nicht! / NoGo / 強化学習 |
|---|
| Outline of Research at the Start |
AlphaZero はゲームルールのみを知識として用い，ゼロからプロ棋士を上回る強さを持つことができる．しかし，最適戦略や理論値を学習できるのかどうかについては十分調べられていない．さらに，不確定要素を含むゲームへの適用も殆どない．本研究の目的は，AlpahZero 枠組みを用いて，完全情報ゲーム（決定的・確率的）の理論値と最適戦略を学習できるアルゴリズムにすることである．まずは規模が小さくて完全解析が可能なゲームを対象として研究を行い，それから完全解析が困難なゲームへの適用と分析を予定する．さまざまなゲームごとの特性と特徴抽出モデルが学習に与える影響を明らかにし，改善することを目的とする．
|
| Outline of Final Research Achievements |
AlphaZero outperformed professionals by learning from scratch based on self-play games, which only needed to know game rules. However, it is unclear whether AlphaZero can learn the optimal policies or theoretical values. In addition, there are only a few applications to games involving uncertainty.
This research targeted games on small scales at first, where each position’s optimal policy and theoretical value can be obtained. The results showed that the learning of AlphaZero under many settings could converge to the optimal policies or theoretical values. In addition, for a game on a larger scale and involving uncertainty, it was also confirmed that the program based on AlphaZero was strong enough to obtain the silver medal in a tournament.
|
| Academic Significance and Societal Importance of the Research Achievements |
AlphaZero のパラメータを丁寧に調べ，学習結果への影響を明らかにしたことは学術的意義があった．AlphaZero を適用する研究者には，パラメータに関する試行錯誤のコストが減ることを期待する．また，サイコロを振るような不確定要素を含むゲームにおいても，AlphaZero の適用に成功したことの示しに貢献した．
さらに，AlphaZero で学習した戦略と局面評価の質がいいことを示したことで，それらの戦略や局面評価の参考価値をより深めた．人間プレイヤ（特に強いプレイヤ）の上達に利用できることを考える．利用価値を深めたことは学術的意義にも社会的意義にも貢献したと考える．
|
Report
(4 results)
Research Products
(5 results)
