Deriving Appropriate Utility in Agent Learning

2008 Fiscal Year Final Research Report

• Project/Area Number: 18700145
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Intelligent informatics
• Research Institution: Osaka University
• Principal Investigator: MORIYAMA Koichi Osaka University, 産業科学研究所, 助教 (10361776)
• Project Period (FY): 2006 – 2008
• Keywords: 人工知能 / 強化学習 / エージェント / マルチエージェントシステム

Research Abstract

本研究課題は,人工知能研究の一分野である強化学習において,従来は同一視されてきた個体(エージェント)外からの報酬と,エージェント自身の主観的効用を分けて考えることで,最も単純なマルチエージェント環境である2人2行動同時手番対称ゲームで適切に行動する強化学習エージェントの構築を目的とした.研究の結果,囚人のジレンマゲームにおいて協調行動を続けやすくする効用の条件を導き,さらに別の種類のゲームで報酬を追求することを妨げない学習手法を開発した.

Research Products

• [Journal Article] Learning-Rate Adjust-ing Q-learning for Two-Person Two-Action Symmetric Games (2009)
  • Author(s): Koichi Moriyama
  • Journal Title: Proceedings of the third KES Symposium on Agent and Multi-Agent Systems - Technologies and Applications, KES-AMSTA 2009 (Lecture Notes in Artificial Intelligence 5559) in press Pages: 223-232
  • Peer Reviewed
• [Journal Article] Learning-Rate Adjust-ing Q-learning for Prisoner's Dilemma Games (2008)
  • Author(s): Koichi Moriyama
  • Journal Title: Proceedings of the 2008 IEEE/ WIC/ACM International Conference on Intelligent Agent Technology IAT'08 Pages: 322-325
  • Peer Reviewed
• [Journal Article] 2人2行動ゲームのための学習率調整Q学習 (2008)
  • Author(s): 森山甲一
  • Journal Title: 合同エージェントワークショップ&シンポジウム2008 (JAWS2008) 論文集,
  • Peer Reviewed
• [Journal Article] 囚人のジレンマゲームにおけるQ学習による協調の維持 (2008)
  • Author(s): 森山甲一.
  • Journal Title: コンピュータソフトウェア Vol. 25, No. 4 Pages: 145-153
  • Peer Reviewed
• [Journal Article] Reinforcement Learn-ing on a Futures Market Simulator (2008)
  • Author(s): Koichi Moriyama, Mitsuhiro Matsumoto, Ken-ichi Fukui, Satoshi Kurihara, and Masayuki Numao
  • Journal Title: Jour-nal of Universal Computer Science Vol. 14, No. 7 Pages: 1136-1153
  • Peer Reviewed
• [Journal Article] Utility Based Q-learn-ing to Maintain Cooperation in Prisoner's Dilemma Games (2007)
  • Author(s): Koichi Moriyama
  • Journal Title: Proceedings of the 2007 IEEE/WIC/ACM International Conference on Intelligent Agent Technology IAT'07 Pages: 146-152
  • Peer Reviewed
• [Journal Article] 囚人のジレンマゲームにおけるQ学習による協調の維持 (2007)
  • Author(s): 森山甲一
  • Journal Title: 合同エージェントワークショップ&シンポジウム2007 (JAWS2007)論文集
  • Peer Reviewed
• [Journal Article] 囚人のジレンマゲームにおけるQ学習による協調の維持 (2007)
  • Author(s): 森山甲一
  • Journal Title: 第6回情報科学技術フォーラム (FIT2007) 講演論文集 Pages: 419-422
• [Journal Article] Reinforcement Learn-ing on a Futures Market Simulator (2007)
  • Author(s): Koichi Moriyama, Mitsuhiro Matsumoto, Ken-ichi Fukui, Satoshi Kurihara, and Masayuki Numao
  • Journal Title: Proceedings of the first KES Symposium on Agent and Multi-Agent Systems - Technolo-gies and Applications, KES-AMSTA 2007 (Lecture Notes in Artificial Intelligence 4496) Pages: 42-52
  • Peer Reviewed
• [Journal Article] U-MartにおけるQ学習エージェントの設計と評価 (2006)
  • Author(s): 松本光弘, 福井健一, 森山甲一, 栗原聡, 沼尾正行
  • Journal Title: 人工知能学会全国大会(第20回)論文集 1B2-2