• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a general purpose game AI that improves humanly

Research Project

Project/Area Number 17K00514
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Entertainment and game informatics 1
Research InstitutionMatsue National College of Technology

Principal Investigator

Hashimoto Tsuyoshi  松江工業高等専門学校, 情報工学科, 教授 (40420335)

Project Period (FY) 2017-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2021: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2020: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2019: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2018: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2017: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Keywords強化学習 / 反復広化法 / 顕著性マップ / 汎用ゲームAI / 生物学的制約導入 / 弾幕シューティングAI / Muzero / ガイスター / MuZer / ロボット掃除機 / Gazebo シミュレータ / TurtleBot3 burger / 方策勾配 / UCT探索 / 不完全情報ゲーム / ドミニオン / 方策勾配法 / 反復広化 / Pomberman / 連鎖型パズルゲーム / DQN / 音楽ゲーム / ゲームAI / ぷよぷよ / 視覚的顕著性モデル / ニューロエボリューション / モノポリー / 汎用的機械学習 / Deep Q-Network / 弾幕シューティング / Ms.Pacman / 機械学習 / ゲーム / Deep Learning / テトリス / マリオ / 麻雀 / 熟達化 / 汎用人工知能 / シューティングゲーム
Outline of Final Research Achievements

Aiming to realize a general-purpose game AI that improves in a human-like manner, we developed methods on a variety of subjects. We proposed an iterative broadening method inspired by human mastery, and confirmed its effectiveness first on Tetris and later on reinforcement learning of Puyo-Puyo and Pomberman. We also focused on human gazing and saliency calculated from features such as color and edges of images, and proposed a reinforcement learning method using saliency maps, and confirmed its effectiveness in bullet-shooting AI and Ms. Pacman's reinforcement learning. Other achievements include Super Mario infinite 1-up learning, creation of human-like features by introducing biological constraints to music game reinforcement learning, development of a method for searching for purple pieces in Geister, and a method for learning with Muzero by creating a game-like environment similar to a real environment.

Academic Significance and Societal Importance of the Research Achievements

近年、AI強化学習の研究が世界中で盛んに行われているが、効率よく学習をさせるために、人間の学習に着目し、人間らしい強化学習を可能にするための手法をいくつか提案し、評価しやすいゲームAIで実装し実験によりその効果を示した。これら手法が強化学習に取り入れられることで、より少ない計算資源で高い学習効果を上げられる。また、音楽ゲーム強化学習への生物学的制約導入による人間らしさ創出、実環境に近い環境をゲーム化し学習する手法など、実社会に近い題材でも応用可能な成果を上げ強化学習の新たな方向性を示すことができた。

Report

(7 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • 2018 Research-status Report
  • 2017 Research-status Report
  • Research Products

    (20 results)

All 2023 2022 2021 2020 2019 2018 2017

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (19 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Research of Geister AI by MinMax Method Using the Idea of “Purple Piece”2021

    • Author(s)
      川上直人,橋本 剛
    • Journal Title

      情報処理学会論文誌

      Volume: 62 Issue: 10 Pages: 1716-1723

    • DOI

      10.20729/00213202

    • NAID

      170000185636

    • Year and Date
      2021-10-15
    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] 実環境タスクのMuZeroを用いた学習2023

    • Author(s)
      大賀 健伸 , 橋本 剛
    • Organizer
      第49回情報処理学会ゲーム情報学研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] UCTに方策勾配法を用いるガイスターAIの研究2022

    • Author(s)
      青木 蓮樹 , 橋本 剛
    • Organizer
      ゲームプログラミングワークショップ2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] 暗闇シーン挿入によるVR酔い軽減方法の研究2021

    • Author(s)
      小川直輝,橋本剛
    • Organizer
      第26回日本バーチャルリアリティ学会大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 強化学習による連鎖型落ち物パズルゲームの研究2021

    • Author(s)
      杉江矢, 橋本剛
    • Organizer
      第45回情報処理学会ゲーム情報学研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] ボンバーマンAIの強化学習における新手法の提案2021

    • Author(s)
      安藤優希, 橋本剛
    • Organizer
      第45回情報処理学会ゲーム情報学研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 音楽ゲームのプレイヤAIにおける人間らしく振る舞う強化学習手法の提案2021

    • Author(s)
      坂本洸, 橋本剛
    • Organizer
      第45回情報処理学会ゲーム情報学研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] モノポリーを題材とした交渉AIの研究2020

    • Author(s)
      宮廻秀行,橋本剛
    • Organizer
      第43回情報処理学会ゲーム情報学研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] 後退解析による詰めガイスター問題の列挙2020

    • Author(s)
      川上直人,池田心,石井岳史,橋本剛
    • Organizer
      第43回情報処理学会ゲーム情報学研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] ガイスターAIにおけるブラフ戦略の提案2020

    • Author(s)
      岸野圭汰,川上直人,橋本剛
    • Organizer
      第43回情報処理学会ゲーム情報学研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] ニューロエボリューションを用いた連鎖型パズルゲームAIの研究2019

    • Author(s)
      杉江 矢,橋本 剛
    • Organizer
      第42回情報処理学会ゲーム情報学研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] 石井岳史, 川上直人, 橋本剛, 池田心2019

    • Author(s)
      難しい詰めガイスター問題の生成法
    • Organizer
      第 24 回 ゲーム・プログラミング ワークショップ 2019
    • Related Report
      2019 Research-status Report
  • [Presentation] Learning Method to Discover Secret Tricks Using Reinforcement learning2018

    • Author(s)
      Tsuyoshi HASHIMOTO, Ryosuke TAKATA
    • Organizer
      The 2nd NIT-NUU Bilateral Academic Conference 2018
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] Map maze automatic creation program2018

    • Author(s)
      Shunsuke NAKAMURA, Tsuyoshi HASHIMOTO
    • Organizer
      The 2nd NIT-NUU Bilateral Academic Conference 2018
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] 視覚的顕著性モデルを用いた汎用的機械学習法2018

    • Author(s)
      野村直也, 橋本剛
    • Organizer
      第 23 回 ゲーム・プログラミング ワークショップ 2018
    • Related Report
      2018 Research-status Report
  • [Presentation] 完全情報ゲームの探索を用いたガイスターAI の研究2018

    • Author(s)
      川上 直人, 橋本 剛
    • Organizer
      第 23 回 ゲーム・プログラミング ワークショップ 2018
    • Related Report
      2018 Research-status Report
  • [Presentation] 不完全情報ゲーム『ガイスター』における2種の詰め問題の提案と考察2018

    • Author(s)
      石井 岳史,川上 直人,橋本 剛,池田 心
    • Organizer
      第41回情報処理学会ゲーム情報学研究会
    • Related Report
      2018 Research-status Report
  • [Presentation] テトリスを題材にしたスケールダウンを利用した学習手法の開発2017

    • Author(s)
      青木勢馬、橋本剛
    • Organizer
      ゲームプログラミングワークショップ2017
    • Related Report
      2017 Research-status Report
  • [Presentation] 弾幕シューティングゲームにおける汎用的機械学習法2017

    • Author(s)
      野村直也、橋本剛
    • Organizer
      第39回情報処理学会ゲーム情報学研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] 無限1UPを題材としたアクションゲームの裏技を発見する自己学習手法の提案2017

    • Author(s)
      高田亮介、橋本剛
    • Organizer
      第39回情報処理学会ゲーム情報学研究会
    • Related Report
      2017 Research-status Report

URL: 

Published: 2017-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi