• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

仮想社会における強化学習エージェントの報酬評価システム発現過程の解析

研究課題

研究課題/領域番号 16K00302
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 知能情報学
研究機関名古屋工業大学

研究代表者

森山 甲一  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (10361776)

研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2018年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2017年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2016年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワード知的エージェント / 強化学習 / 報酬設計 / 進化 / マルチエージェントシステム / ゲーム理論 / 報酬形成 / 進化計算 / 人工知能 / 機械学習
研究成果の概要

本研究は,複数の強化学習エージェントが行動する仮想社会における,協力などの社会的な行動の発生に関する研究である.社会的な行動の発生は,比較可能な客観的評価だけでなく,各個体の持つ「価値観」に基づいて行動を学習することで,個体ごとに異なる目的を持つためかもしれない.この考えに基づき,「価値観」が客観的評価に基づいてどのように進化するか,それによりどのような社会が実現するかを計算機シミュレーションと数理的解析で調査した.互いの協調が必要だが,裏切りを選んでしまうジレンマ状況において,エージェントに協調を促す「価値観」が進化すること,および大まかなその進化の方向が明らかになった.

研究成果の学術的意義や社会的意義

強化学習の実現には,状態・行動・報酬の設計が必要である.しかし,複数のエージェントが存在する開いた環境における報酬の設計は非常に困難である.一方で,我々人間は,価値観に基づく主観的な評価(うれしい,恥ずかしいなど)から,複数の人間が存在する開いた社会で適切な振る舞いを学習することができている.本研究は,エージェントの「価値観」の発生・進化を考えることで,開いた環境における報酬の設計を自動化する試みである.同時に,エージェントの「価値観」の形成過程から,人間の価値観などの非合理的側面の存在理由を考える研究でもある.

報告書

(4件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (7件)

すべて 2018 2017

すべて 雑誌論文 (3件) (うち査読あり 3件) 学会発表 (4件)

  • [雑誌論文] Evolution Direction of Reward Appraisal in Reinforcement Learning Agents2018

    • 著者名/発表者名
      Masaya Miyawaki, Koichi Moriyama, Atsuko Mutoh, Tohgoroh Matsui, and Nobuhiro Inuzuka
    • 雑誌名

      Proceedings of the 12th KES International Conference on Agent and Multi-agent Systems: Technologies and Applications

      巻: - ページ: 13-22

    • DOI

      10.1007/978-3-319-92031-3_2

    • ISBN
      9783319920306, 9783319920313
    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] Accelerating Deep Q Network by Weighting Experiences2018

    • 著者名/発表者名
      Kazuhiro Murakami, Koichi Moriyama, Atsuko Mutoh, Tohgoroh Matsui, and
    • 雑誌名

      Proceedings of the 25th International Conference on Neural Information

      巻: - ページ: 204-213

    • DOI

      10.1007/978-3-030-04167-0_19

    • NAID

      130007423935

    • ISBN
      9783030041663, 9783030041670
    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] The Resilience of Cooperation in a Dilemma Game Played by Reinforcement Learning Agents2017

    • 著者名/発表者名
      Koichi Moriyama, Kaori Nakase, Atsuko Mutoh, and Nobuhiro Inuzuka
    • 雑誌名

      Proceedings of the 2nd IEEE International Conference on Agents

      巻: - ページ: 33-39

    • DOI

      10.1109/agents.2017.8015297

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [学会発表] GPGPUを用いた強化学習エージェントの並列進化シミュレーション2018

    • 著者名/発表者名
      千賀喜貴, 森山甲一, 武藤敦子, 松井藤五郎, 犬塚信博
    • 学会等名
      人工知能学会全国大会(第32回)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 経験データ重み付けによるDeep Q Networkの高速化2018

    • 著者名/発表者名
      村上知優, 森山甲一, 武藤敦子, 松井藤五郎, 犬塚信博
    • 学会等名
      人工知能学会全国大会(第32回)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] GPGPUを用いた2人ゲームにおける強化学習の高速化2017

    • 著者名/発表者名
      黒木是冶,森山甲一,武藤敦子,犬塚信博
    • 学会等名
      情報処理学会 第79回全国大会
    • 発表場所
      名古屋大学(名古屋市)
    • 年月日
      2017-03-16
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] マルチエージェント強化学習における主観的効用の進化過程に関する分析2017

    • 著者名/発表者名
      宮脇昌哉, 森山甲一, 武藤敦子, 松井藤五郎, 犬塚信博
    • 学会等名
      人工知能学会全国大会(第31回)
    • 関連する報告書
      2017 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi