マルチエージェント系における経験強化型学習ＸｏＬの理論と応用

• 研究課題/領域番号: 26330267
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 独立行政法人大学改革支援・学位授与機構
• 研究代表者: 宮崎 和光 独立行政法人大学改革支援・学位授与機構, 研究開発部, 准教授 (20282866)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• 研究課題ステータス: 完了 (2016年度)
• 配分額: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円); 2016年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2015年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2014年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
• キーワード: マルチエージェントシステム / 経験強化型学習 / 強化学習 / 機械学習 / 人工知能 / ソフトコンピューティング / 深層学習

研究成果の概要

マルチエージェント学習における経験強化型学習XoLに関する発展的研究として、複数のエージェントが同時に学習することによって生じる同時学習問題を回避する手法を提案した。また、マルチエージェント学習における間接報酬の正の効果の解析を行った。具体的には、「間接報酬により不完全知覚問題を軽減する手法」を提案するとともに、「全エージェントが報酬を得るための定理」としてのとりまとめを行った。さらに、Keepawayタスク等への適用を通じて、マルチエージェント学習におけるXoLの有効性を示すための応用例の拡充を図った。これらの成果により、マルチエージェント学習におけるXoLの優位性を強く主張できたと考える。

研究成果

• [雑誌論文] A Study of an Indirect Reward on Multi-agent Environments (2016)
  • 著者名/発表者名: Kazuteru Miyazaki
  • 雑誌名: Procedia Computer Science 巻: 88 ページ: 94-101
  • DOI: 10.1016/j.procs.2016.07.411
  • NAID: 40020804252
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] 失敗確率伝播アルゴリズムEFPAの提案とマルチエージェント環境下での有効性の検証 (2016)
  • 著者名/発表者名: 村岡宏紀、宮崎和光、小林博明
  • 雑誌名: 電気学会論文誌Ｃ（電子・情報・システム部門誌） 巻: 136 号: 3 ページ: 273-281
  • DOI: 10.1541/ieejeiss.136.273
  • NAID: 130005132275
  • ISSN: 0385-4221, 1348-8155
  • 査読あり / 謝辞記載あり
• [雑誌論文] Proposed Decision-Making System Based on Consciousness in Multiple Rewards and Penalties Environments (2015)
  • 著者名/発表者名: Kazuteru Miyazaki
  • 雑誌名: International Journal of Machine Learning and Computing 巻: 5 (2) 号: 2 ページ: 121-126
  • DOI: 10.7763/ijmlc.2015.v5.494
  • 査読あり / オープンアクセス
• [雑誌論文] The Necessity of a Secondary System in Machine Consciousness (2014)
  • 著者名/発表者名: Kazuteru Miyazaki and Junichi Takeno
  • 雑誌名: Procedia Computer Science 巻: 41 ページ: 15-22
  • DOI: 10.1016/j.procs.2014.11.079
  • 査読あり / オープンアクセス
• [学会発表] Proposal of an Action Selection Strategy with Expected Failure Probability and its Evaluation in Multi-agent Reinforcement Learning (2016)
  • 著者名/発表者名: Kazuteru Miyazaki, Koudai Furukawa and Hiroaki Kobayashi
  • 学会等名: 14th European Conference on Multi-Agent Systems
  • 発表場所: ヴァレンシア（スペイン）
  • 年月日: 2016-12-15
  • 国際学会
• [学会発表] 深層学習を組み込んだ経験強化型学習に関する実験的考察 (2016)
  • 著者名/発表者名: 宮崎和光
  • 学会等名: 電気学会 システム研究会 「機械学習研究の最新動向」
  • 発表場所: 伊豆高原 五景館
  • 年月日: 2016-12-02
• [学会発表] 経験強化型学習XoL －強化学習における試行錯誤回数の低減をめざして－ (2016)
  • 著者名/発表者名: 宮崎和光
  • 学会等名: 第6回知能工学部会研究会「賢さの先端研究会」，第54 回システム工学部会研究会 機械学習の最 先端研究- 理論および応用研究 -
  • 発表場所: フォーラムミカサ エコ 7Fホール（東京都千代田区神田）
  • 年月日: 2016-11-07
  • 招待講演
• [学会発表] Proposal and Evaluation of an Action Selection Strategy with Expected Failure Probability in Multiagent Learning (2016)
  • 著者名/発表者名: Kazuteru Miyazaki, Koudai Furukawa and Hiroaki Kobayashi
  • 学会等名: International Workshop on Multiagent Learning: Theory and Applications
  • 発表場所: Kunibikimesse, Matsue, Shimane
  • 年月日: 2016-09-30
  • 国際学会
• [学会発表] 深層学習を組み込んだ経験強化型学習XoL：deep Q-networkとの比較 (2016)
  • 著者名/発表者名: 宮崎和光
  • 学会等名: 電気学会 システム研究会 「機械学習応用研究の最前線」
  • 発表場所: 星陵会館（東京都千代田区永田町）
  • 年月日: 2016-07-09
• [学会発表] 2報酬PS強化学習法の提案とその有効性の検証 (2016)
  • 著者名/発表者名: 小玉直樹、宮崎和光、小林博明
  • 学会等名: 電気学会 システム研究会 「機械学習応用研究の最前線」
  • 発表場所: 星陵会館（東京都千代田区永田町）
  • 年月日: 2016-07-09
• [学会発表] マルチエージェント環境における間接報酬に関する一考察 (2016)
  • 著者名/発表者名: 宮崎和光
  • 学会等名: 電気学会 システム研究会 「機械学習応用研究の最前線」
  • 発表場所: 東京トラック事業健保会館（東京都千代田区）
  • 年月日: 2016-03-08
• [学会発表] 予想失敗確率を組み込んだ行動選択戦略の提案とマルチエージェント環境下での有効性の検証 (2016)
  • 著者名/発表者名: 古川耕大、宮崎和光、小林博明
  • 学会等名: 電気学会 システム研究会 「機械学習応用研究の最前線」
  • 発表場所: 東京トラック事業健保会館（東京都千代田区）
  • 年月日: 2016-03-08
• [学会発表] 政策の多様性を重視した直接政策探索法の提案 (2015)
  • 著者名/発表者名: 徳久文彬，小野功，宮崎和光
  • 学会等名: 計測自動制御学会 システム・情報部門 学術講演会 2015
  • 発表場所: 函館アリーナ
  • 年月日: 2015-11-18
• [学会発表] The Necessity of a Secondary System in Multi-agent Learning (2015)
  • 著者名/発表者名: Kazuteru Miyazaki
  • 学会等名: The First International Symposium on Swarm Behavior and Bio-Inspired Robotics
  • 発表場所: Kyoto University
  • 年月日: 2015-10-28
  • 国際学会
• [学会発表] 学位取得者に対するアンケート調査の分析 (2015)
  • 著者名/発表者名: 宮崎和光
  • 学会等名: 電気学会 合同システム研究会
  • 発表場所: 電力中央研究所（東京都千代田区）
  • 年月日: 2015-06-20
• [学会発表] マルチエージェント学習における2次系の必要性に関する研究 (2015)
  • 著者名/発表者名: 宮崎和光
  • 学会等名: 電気学会 システム研究会 機械学習応用研究の最前線
  • 発表場所: 青山学院大学 相模原キャンパス
  • 年月日: 2015-03-11
• [学会発表] Profit Sharing強化学習への予想失敗確率の導入とその有効性に関する研究 (2015)
  • 著者名/発表者名: 古川耕大, 宮崎和光小林博明
  • 学会等名: 第27回自律分散システムシンポジウム
  • 発表場所: 東京理科大学 神楽坂キャンパス
  • 年月日: 2015-01-22
• [学会発表] Proposed Decision-Making System Based on Consciousness in Multiple Rewards and Penalties Environments (2014)
  • 著者名/発表者名: Kazuteru Miyazaki
  • 学会等名: 2014 International Conference on Artificial Intelligence
  • 発表場所: バルセロナ（スペイン）
  • 年月日: 2014-12-23
• [学会発表] The Necessity of a Secondary System in Machine Consciousness (2014)
  • 著者名/発表者名: Kazuteru Miyazaki and Junichi Takeno
  • 学会等名: 2014 Annual International Conference on Biologically Inspired Cognitive Architectures
  • 発表場所: マサチューセッツ工科大学（アメリカ）
  • 年月日: 2014-11-08
• [学会発表] 複数種類の報酬と罰に対応した意識的意思決定システムの提案 (2014)
  • 著者名/発表者名: 宮崎和光
  • 学会等名: 第13回情報科学技術フォーラム
  • 発表場所: 筑波大学 筑波キャンパス
  • 年月日: 2014-09-05
• [図書] これからの強化学習 (2016)
  • 著者名/発表者名: 牧野貴樹、澁谷長史、白川真一、浅田稔、麻生英樹、荒井幸代、飯間等、伊藤真、大倉和博、黒江康明、杉本徳和、坪井祐太、銅谷賢治、前田新一、松井藤五郎、南泰浩、宮崎和光、目黒豊美、森村哲郎、森本淳、保田俊行、吉本潤一郎
  • 総ページ数: 320
  • 出版者: 森北出版
• [備考]
  • URL: http://www7b.biglobe.ne.jp/~kazuteru/indexj.html