エージェントの学習における適切な効用の導出方法

• 研究課題/領域番号: 18700145
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 知能情報学
• 研究機関: 大阪大学
• 研究代表者: 森山 甲一 大阪大学, 産業科学研究所, 助教 (10361776)
• 研究期間 (年度): 2006 – 2008
• 研究課題ステータス: 完了 (2008年度)
• 配分額: 2,510千円 (直接経費: 2,300千円、間接経費: 210千円); 2008年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2007年度: 800千円 (直接経費: 800千円); 2006年度: 800千円 (直接経費: 800千円)
• キーワード: 人工知能 / 強化学習 / エージェント / マルチエージェントシステム / ゲーム理論 / 効用 / Q学習 / 囚人のジレンマゲーム

研究概要

本研究課題は,人工知能研究の一分野である強化学習において,従来は同一視されてきた個体(エージェント)外からの報酬と,エージェント自身の主観的効用を分けて考えることで,最も単純なマルチエージェント環境である2人2行動同時手番対称ゲームで適切に行動する強化学習エージェントの構築を目的とした.研究の結果,囚人のジレンマゲームにおいて協調行動を続けやすくする効用の条件を導き,さらに別の種類のゲームで報酬を追求することを妨げない学習手法を開発した.

研究成果

• [雑誌論文] Learning-Rate Adjust-ing Q-learning for Two-Person Two-Action Symmetric Games (2009)
  • 著者名/発表者名: Koichi Moriyama
  • 雑誌名: Proceedings of the third KES Symposium on Agent and Multi-Agent Systems - Technologies and Applications, KES-AMSTA 2009 (Lecture Notes in Artificial Intelligence 5559) in press ページ: 223-232
  • 査読あり
• [雑誌論文] Learning-Rate Adjust-ing Q-learning for Prisoner's Dilemma Games (2008)
  • 著者名/発表者名: Koichi Moriyama
  • 雑誌名: Proceedings of the 2008 IEEE/ WIC/ACM International Conference on Intelligent Agent Technology IAT'08 ページ: 322-325
  • 査読あり
• [雑誌論文] 2人2行動ゲームのための学習率調整Q学習 (2008)
  • 著者名/発表者名: 森山甲一
  • 雑誌名: 合同エージェントワークショップ&シンポジウム2008 (JAWS2008) 論文集,
  • 査読あり
• [雑誌論文] 囚人のジレンマゲームにおけるQ学習による協調の維持 (2008)
  • 著者名/発表者名: 森山甲一.
  • 雑誌名: コンピュータソフトウェア Vol. 25, No. 4 ページ: 145-153
  • NAID: 130004892116
  • 査読あり
• [雑誌論文] Reinforcement Learn-ing on a Futures Market Simulator (2008)
  • 著者名/発表者名: Koichi Moriyama, Mitsuhiro Matsumoto, Ken-ichi Fukui, Satoshi Kurihara, and Masayuki Numao
  • 雑誌名: Jour-nal of Universal Computer Science Vol. 14, No. 7 ページ: 1136-1153
  • 査読あり
• [雑誌論文] Reinforcement Learning on a Futures Market Simulator (2008)
  • 著者名/発表者名: K. Moriyama, M. Matsumoto, K. Fukui, S. Kurihara, and M. Numao
  • 雑誌名: Journal of Universal Computer Science 14 ページ: 1136-1153
  • 査読あり
• [雑誌論文] 囚人のジレンマゲームにおけるQ学習による協調の維持 (2008)
  • 著者名/発表者名: 森山甲一
  • 雑誌名: コンピュータソフトウェア 25 ページ: 145-153
  • NAID: 130004892116
  • 査読あり
• [雑誌論文] 2人2行動ゲームのための学習率調整Q学習 (2008)
  • 著者名/発表者名: 森山甲一
  • 雑誌名: 合同エージェントワークショップ&シンポジウム2008講演論文集
  • 査読あり
• [雑誌論文] Learning-Rate Adjusting Q-learning for Prisoner's Dilemma Games (2008)
  • 著者名/発表者名: Koichi Moriyama
  • 雑誌名: Proc. of the 2008 IEEE/WIC/ACM International Conference on Intelligent Agent Technology ページ: 322-325
  • 査読あり
• [雑誌論文] Utility Based Q-learn-ing to Maintain Cooperation in Prisoner's Dilemma Games (2007)
  • 著者名/発表者名: Koichi Moriyama
  • 雑誌名: Proceedings of the 2007 IEEE/WIC/ACM International Conference on Intelligent Agent Technology IAT'07 ページ: 146-152
  • 査読あり
• [雑誌論文] 囚人のジレンマゲームにおけるQ学習による協調の維持 (2007)
  • 著者名/発表者名: 森山甲一
  • 雑誌名: 合同エージェントワークショップ&シンポジウム2007 (JAWS2007)論文集
  • NAID: 130004892116
  • 査読あり
• [雑誌論文] 囚人のジレンマゲームにおけるQ学習による協調の維持 (2007)
  • 著者名/発表者名: 森山甲一
  • 雑誌名: 第6回情報科学技術フォーラム (FIT2007) 講演論文集 ページ: 419-422
  • NAID: 130004892116
• [雑誌論文] Reinforcement Learn-ing on a Futures Market Simulator (2007)
  • 著者名/発表者名: Koichi Moriyama, Mitsuhiro Matsumoto, Ken-ichi Fukui, Satoshi Kurihara, and Masayuki Numao
  • 雑誌名: Proceedings of the first KES Symposium on Agent and Multi-Agent Systems - Technolo-gies and Applications, KES-AMSTA 2007 (Lecture Notes in Artificial Intelligence 4496) ページ: 42-52
  • 査読あり
• [雑誌論文] Reinforcement Learning on a Futures Market Simulator (2007)
  • 著者名/発表者名: K. Moriyama, M. Matsumoto, K. Fukui, S. Kurihara, and M. Numao
  • 雑誌名: Lecture Notes in Artificial Intelligence 4496 ページ: 42-52
  • 査読あり
• [雑誌論文] 囚人のジレンマゲームにおけるQ学習による協調の維持 (2007)
  • 著者名/発表者名: 森山 甲一
  • 雑誌名: 第6回情報科学技術フォーラム講演論文集 ページ: 419-422
  • NAID: 130004892116
• [雑誌論文] 囚人のジレンマゲームにおけるQ学習による協調の維持 (2007)
  • 著者名/発表者名: 森山 甲一
  • 雑誌名: 合同エージェントワークショップ&シンポジウム2007講演論文集
  • NAID: 130004892116
  • 査読あり
• [雑誌論文] Utility Based Q-learning to Maintain Cooperation Prisoner's Dilemma Games (2007)
  • 著者名/発表者名: Koichi Moriyama
  • 雑誌名: Proc. 2007 IEEE/WIC/ACM International Conference on Intelligent Agent Technology ページ: 146-152
  • 査読あり
• [雑誌論文] Reinforcement Learning on a Futures Market Simulator (2007)
  • 著者名/発表者名: K.Moriyama, M.Matsumoto, K.Fukui, S.Kurihara, M.Numao
  • 雑誌名: Lecture Notes in Artificial Intelligence (in press)
• [雑誌論文] U-MartにおけるQ学習エージェントの設計と評価 (2006)
  • 著者名/発表者名: 松本光弘, 福井健一, 森山甲一, 栗原聡, 沼尾正行
  • 雑誌名: 人工知能学会全国大会(第20回)論文集 1B2-2
  • NAID: 130005023261
• [雑誌論文] U-MartにおけるQ学習工ージェントの設計と評価 (2006)
  • 著者名/発表者名: 松本光弘, 福井健一, 森山甲一, 栗原聡, 沼尾正行
  • 雑誌名: 人工知能学会全国大会(第20回)論文集