環境モデルと戦略の同時学習による深層強化学習

• Project/Area Number: 20H04301
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 62040:Entertainment and game informatics-related
• Research Institution: The University of Tokyo
• Principal Investigator: 鶴岡 慶雅 東京大学, 大学院情報理工学系研究科, 教授 (50566362)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Project Status: Granted (Fiscal Year 2020)
• Budget Amount: ¥16,510,000 (Direct Cost: ¥12,700,000、Indirect Cost: ¥3,810,000); Fiscal Year 2021: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000); Fiscal Year 2020: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
• Keywords: 強化学習 / 深層学習 / モデルベース

Outline of Research at the Start

本研究では、状態空間が大きく行動の自由度の高いゲームに適用可能なモデルベース深層強化学習手法を開発することを目的とする。具体的には、環境モデルとエージェントの戦略（方策）を同時に学習することで、ゲーム内のタスクに適した環境モデルの学習を可能にする。さらに、環境モデルを利用した実行時先読み、および、複数の環境モデル間の予測誤差等を利用した内部報酬の導入によりサンプル効率の高い学習を可能にすることを目指す。