マルチエージェントの学習過程に注目した系安定化・全体最適化に関する研究

2011 年度 研究成果報告書

• 研究課題/領域番号: 21500153
• 研究種目: 基盤研究(C)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 独立行政法人産業技術総合研究所
• 研究代表者: 野田 五十樹 独立行政法人産業技術総合研究所, サービス工学研究センター, 研究チーム長 (40357744)
• 研究分担者: 山下 倫央 独立行政法人産業技術総合研究所, サービス工学研究センターサービス設計支援技術研究チーム, 研究員 (50415759)
• 研究期間 (年度): 2009 – 2011
• キーワード: 知的エージェント / マルチエージェント社会シミュレーション / 強化学習 / 学習パラメータ

研究概要

複数のエージェントが同時学習する際に生じるジレンマに起因する系の不安定を解決するため、エージェント学習の環境変化に対する不感度とエージェントの受ける情報配信のバランスを制御する方法を開発した。その結果、強化学習のステップサイズパラメータを自動的に制御するRASPや学習におけるExploration/Exploitationを調整する方法を始め、エージェント学習の制御パラメータを制御して系の安定さを向上させる手法を導出・提案した。

研究成果

• [雑誌論文] Adaption of Stepsize Parameter Using Newton's Method (2011)
  • 著者名/発表者名: Itsuki Noda
  • 雑誌名: AGENTS IN PRINCIPLE, AGENTS IN PRACTICE 巻: Vol.7047 ページ: 349-360
  • DOI: DOI:10.1007/978-3-642-25044-6_28
  • 査読あり
• [雑誌論文] Adaptation of Stepsize Parameter to Minimize Exponential Moving Average of Square Error by Newton's Method (2010)
  • 著者名/発表者名: Itsuki Noda
  • 雑誌名: Proc. of Adaptive and Learning Agents
  • 査読あり
• [雑誌論文] ロボカップ12年 (2010)
  • 著者名/発表者名: 野田五十樹、松原仁
  • 雑誌名: 人工知能学会誌 巻: Vol.25 ページ: 183-188
• [雑誌論文] Recursive Adaptation of Stepsize Parameter for Non-stationary Environments (2009)
  • 著者名/発表者名: Itsuki Noda
  • 雑誌名: Principles of Practice in Multi-Agent Systems 巻: Vol.1 ページ: 525-533
  • DOI: DOI:10.1007/978-3-642-11161-7_38
  • 査読あり
• [学会発表] 災害救助マルチエージェントシミュレーションの可能性 (2012)
  • 著者名/発表者名: 野田五十樹
  • 学会等名: FUN-AI 2012
  • 発表場所: 大沼
  • 年月日: 2012-03-03
• [学会発表] 動的環境におけるExploitation/Exploration比率の制御 (2011)
  • 著者名/発表者名: 野田五十樹
  • 学会等名: JAWS2011
  • 発表場所: 熱海市
  • 年月日: 2011-10-27
• [学会発表] 再帰的ステップサイズパラメータ調整法による株取引におけるボリュームカーブの推定 (2011)
  • 著者名/発表者名: 松井宏樹、林慶樹、野田五十樹
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 盛岡市
  • 年月日: 2011-06-02
• [学会発表] マルチエージェント学習下における温度パラメータの調節手法 (2011)
  • 著者名/発表者名: 野田五十樹、 Kim Hyun-Tae
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 盛岡市
  • 年月日: 2011-06-01
• [学会発表] 周期的環境に対するフーリエ混合強化学習法 (2011)
  • 著者名/発表者名: 野田五十樹
  • 学会等名: 情報処理学会全国大会
  • 発表場所: 東京
  • 年月日: 2011-03-04
• [学会発表] 複素数指数移動平均を用いた強化学習による周期的環境への適応 (2010)
  • 著者名/発表者名: 野田五十樹
  • 学会等名: JAWS 2010
  • 発表場所: 富良野
  • 年月日: 2010-10-28
• [学会発表] Rapid Recursive Adapta-tion of Stepsize Parameter by New-ton's Method (2010)
  • 著者名/発表者名: Itsuki Noda
  • 学会等名: PRICAI 2010
  • 発表場所: Daegu, Korea
  • 年月日: 2010-08-30
• [学会発表] 再帰的ステップサイズパラメータ調整法を用いた機械学習による金融データの分析 (2010)
  • 著者名/発表者名: 松井宏樹、林慶樹、野田五十樹、尹煕元
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 長崎市
  • 年月日: 2010-06-11
• [学会発表] マルチエージェント環境下における強化学習のステップサイズパラメータの適応 (2010)
  • 著者名/発表者名: 野田五十樹
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 長崎市
  • 年月日: 2010-06-09
• [学会発表] ニュートン法による強化学習ステップサイズパラメータの調整法 (2010)
  • 著者名/発表者名: 野田五十樹
  • 学会等名: 情報処理学会全国大会
  • 発表場所: 東京
  • 年月日: 2010-03-09
• [学会発表] 強化学習と社会の安定化 (2010)
  • 著者名/発表者名: 野田五十樹
  • 学会等名: FUN-AI 2010
  • 発表場所: 函館
  • 年月日: 2010-02-22
• [学会発表] 指数的移動平均2乗誤差の最小化によるステップサイズパラメータの調整法 (2009)
  • 著者名/発表者名: 野田五十樹
  • 学会等名: JAWS-2009
  • 発表場所: 蔵王
  • 年月日: 2009-10-28
• [学会発表] Adaptation of Stepsize Parameter for Non-Stationary Environ-ments by Recursive Exponential Mov-ing Average (2009)
  • 著者名/発表者名: Itsuki Noda
  • 学会等名: ECML 2009 LNIID Work-shop
  • 発表場所: Bled, Slovenia
  • 年月日: 2009-09-07
• [学会発表] 機械学習における再帰的ステップサイズパラメータ調整法を用いた価格変動の分析 (2009)
  • 著者名/発表者名: 松井宏樹、野田五十樹、尹煕元
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 高松市
  • 年月日: 2009-06-19
• [学会発表] デマンド型交通導入に関する仮想社会実験 (2009)
  • 著者名/発表者名: 舟山和男、吉村忍、野田五十樹、藤井秀樹、狩野宏和
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 高松市
  • 年月日: 2009-06-19
• [学会発表] 強化学習エージェントと報酬頻度に関する考察 (2009)
  • 著者名/発表者名: 野田五十樹
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 高松市
  • 年月日: 2009-06-17
• [学会発表] Recursive Adaptation of Stepsize Parameter for Unstable Environments (2009)
  • 著者名/発表者名: Itsuki Noda
  • 学会等名: ALA-2009
  • 発表場所: Budapest, Hungary
  • 年月日: 2009-05-12
• [図書] Recursive Adaptation of Stepsize Parameter for Non-Stationary Environments in Adap-tive Learning Agents (2010)
  • 著者名/発表者名: Itsuki Noda
  • 総ページ数: 74-90
  • 出版者: Springer