2021 Fiscal Year Annual Research Report
deep reinforcement learning for imperfect and multi-player environments
| Project/Area Number |
18K19832
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
金子 知適 東京大学, 大学院総合文化研究科, 准教授 (00345068)
|
|---|
| Project Period (FY) |
2018-06-29 – 2022-03-31
|
| Keywords | ゲームプログラミング |
|---|
| Outline of Annual Research Achievements |
人工知能分野の強化学習では，環境の中で自律的に行動するAIエージェントを想定し，そのエージェントが試行錯誤を通じて振る舞いを学習する技術を研究す る.本研究の目的は，不完全情報かつ多人数のゲームを題材に，モデルを持つ深層強化学習に関する基盤技術を開発することで，AIエージェントの劇的な性能向 上をより広い分野で実現することにある.強化学習は，汎用性の高い枠組みで，エージェントと環境の相互作用を扱う.エージェントが「行動」することで「環 境」に働きかけ，環境はエージェント行動と他の要因により確率的に「状態」を変え，エージェントは状態の一部を観測し，ときおり報酬(ペナルティを含む)を 得る.ここで，どのような状態でどう行動するとどのような結果につながるかは事前に分からないだけでなく，確率的に結果が異なることもあるとする.そのた め，エージェントは試行錯誤を繰り返して環境を理解する必要がある.本研究ではその対象をさらに広げて，現実に近い複雑さを持つ問題の例として，不完全情 報かつ多人数のゲームを扱う.不完全情報とは，観測できない状態が存在することであり， 多人数とは，状況によって敵にも味方にもなりうる他者が存在する ことである.問題が複雑になるほど，エージェントの学習は困難になる.そこで本研究では， 既存技術である深層学習に加えて，不完全情報かつ多人数を扱う ことに適したモデルの獲得と精密化を行う学習フレームワークを，新たに提唱し，核となる技術の確率を目指す.研究の三年度目として，本年度は昨年度までの 成果を踏まえて，プレイヤが1人または2人の不完全情報ゲームにおける強化学習技術を拡張して，エージェントが3人以上の環境での学習技術に取り組んだ.
|
