Researches on System Stabilization based on Learning Process of Multiple Agents.

• Project/Area Number: 21500153
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Intelligent informatics
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: NODA Itsuki 独立行政法人産業技術総合研究所, サービス工学研究センター, 研究チーム長 (40357744)
• Co-Investigator(Kenkyū-buntansha): YAMASHITA Tomohisa 独立行政法人産業技術総合研究所, サービス工学研究センターサービス設計支援技術研究チーム, 研究員 (50415759)
• Project Period (FY): 2009 – 2011
• Project Status: Completed (Fiscal Year 2011)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2011: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2010: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2009: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: 知的エージェント / マルチエージェント社会シミュレーション / 強化学習 / 学習パラメータ / マルチエージェント / デマンドパスシミュレーション / デマンドバスシミュレーション

Research Abstract

In order to overcome difficulties of unstable situation caused by dilemma of simul-taneous learning of multiple agents, we proposed several methods to control insensitiveness to environmental changes and information flow for the multiple agents. RASP is a method to control stepsize parameter of reinforcement learning auto-matically according to the degree of changes of environment. We also investigate a method to control Exploration/Exploitation ratio to stabilize learning processes.

Research Products

• [Journal Article] Adaption of Stepsize Parameter Using Newton's Method (2011)
  • Author(s): Itsuki Noda
  • Journal Title: AGENTS IN PRINCIPLE, AGENTS IN PRACTICE Volume: Vol.7047 Pages: 349-360
  • DOI: 10.1007/978-3-642-25044-6_28
  • ISBN: 9783642250439, 9783642250446
  • Peer Reviewed
• [Journal Article] Adaptation of Stepsize Parameter to Minimize Exponential Moving Average of Square Error by Newton's Method (2011)
  • Author(s): Itsuki Noda
  • Journal Title: Adaptive and Learning Agents Volume: (CD-ROM)
  • Peer Reviewed
• [Journal Article] Adaptation of Stepsize Parameter to Minimize Exponential Moving Average of Square Error by Newton's Method (2010)
  • Author(s): Itsuki Noda
  • Journal Title: Proc. of Adaptive and Learning Agents
  • Peer Reviewed
• [Journal Article] ロボカップ12年 (2010)
  • Author(s): 野田五十樹、松原仁
  • Journal Title: 人工知能学会誌 Volume: Vol.25 Pages: 183-188
• [Journal Article] ロボカップ12年 (2010)
  • Author(s): 野田五十樹, 松原仁
  • Journal Title: 人工知能学会誌 25 Pages: 183-188
• [Journal Article] Recursive Adaptation of Stepsize Parameter for Non-stationary Environments (2009)
  • Author(s): Itsuki Noda
  • Journal Title: Principles of Practice in Multi-Agent Systems Volume: Vol.1 Pages: 525-533
  • DOI: 10.1007/978-3-642-11161-7_38
  • ISBN: 9783642111600, 9783642111617
  • Peer Reviewed
• [Journal Article] Recursive Adaptation of Stepsize Parameter for Non-stationary Environments (2009)
  • Author(s): Itsuki Noda
  • Journal Title: Principles of Practice in Multi-Agent Systems 1 Pages: 525-533
  • Peer Reviewed
• [Presentation] 災害救助マルチエージェントシミュレーションの可能性 (2012)
  • Author(s): 野田五十樹
  • Organizer: FUN-AI 2012
  • Place of Presentation: 大沼
  • Year and Date: 2012-03-03
• [Presentation] 災害救助マルチエージェントシミュレーションの可能性 (2012)
  • Author(s): 野田五十樹
  • Organizer: FUN-AI 2012
  • Place of Presentation: 北海道グリーンピア大沼
  • Year and Date: 2012-03-03
• [Presentation] 動的環境におけるExploitation/Exploration比率の制御 (2011)
  • Author(s): 野田五十樹
  • Organizer: JAWS2011
  • Place of Presentation: 熱海市
  • Year and Date: 2011-10-27
• [Presentation] 動的環境におけるExploitation/Exploration比率の制御 (2011)
  • Author(s): 野田五十樹
  • Organizer: JAWS2011
  • Place of Presentation: 静岡県熱海後楽園ホテル
  • Year and Date: 2011-10-27
• [Presentation] 再帰的ステップサイズパラメータ調整法による株取引におけるボリュームカーブの推定 (2011)
  • Author(s): 松井宏樹、林慶樹、野田五十樹
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 盛岡市
  • Year and Date: 2011-06-02
• [Presentation] 再帰的ステップサイズパラメータ調整法による株取引におけるボリュームカーブの推定 (2011)
  • Author(s): 松井宏樹, 林慶樹, 野田五十樹
  • Organizer: 人工知能学会
  • Place of Presentation: 岩手県いわて県民情報交流センター
  • Year and Date: 2011-06-02
• [Presentation] マルチエージェント学習下における温度パラメータの調節手法 (2011)
  • Author(s): 野田五十樹、 Kim Hyun-Tae
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 盛岡市
  • Year and Date: 2011-06-01
• [Presentation] マルチエージェント学習下における温度パラメータの調節手法 (2011)
  • Author(s): 野田五十樹, Kim Hyun-Tae
  • Organizer: 人工知能学会
  • Place of Presentation: 岩手県いわて県民情報交流センター
  • Year and Date: 2011-06-01
• [Presentation] 周期的環境に対するフーリエ混合強化学習法 (2011)
  • Author(s): 野田五十樹
  • Organizer: 情報処理学会全国大会
  • Place of Presentation: 東京
  • Year and Date: 2011-03-04
• [Presentation] 複素数指数移動平均を用いた強化学習による周期的環境への適応 (2010)
  • Author(s): 野田五十樹
  • Organizer: JAWS 2010
  • Place of Presentation: 富良野
  • Year and Date: 2010-10-28
• [Presentation] Rapid Recursive Adapta-tion of Stepsize Parameter by New-ton's Method (2010)
  • Author(s): Itsuki Noda
  • Organizer: PRICAI 2010
  • Place of Presentation: Daegu, Korea
  • Year and Date: 2010-08-30
• [Presentation] Rapid Recursive Adaption of Stepsize Parameter by Newton's Method (2010)
  • Author(s): Itsuki Noda
  • Organizer: PRICAI 2010
  • Place of Presentation: Daegu, Korea
  • Year and Date: 2010-08-30
• [Presentation] 再帰的ステップサイズパラメータ調整法を用いた機械学習による金融データの分析 (2010)
  • Author(s): 松井宏樹、林慶樹、野田五十樹、尹煕元
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 長崎市
  • Year and Date: 2010-06-11
• [Presentation] 再帰的ステップサイズパラメータ調整法を用いた機械学習による金融データの分析 (2010)
  • Author(s): 松井宏樹, 林慶樹, 野田五十樹, 尹煕元
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 長崎
  • Year and Date: 2010-06-11
• [Presentation] マルチエージェント環境下における強化学習のステップサイズパラメータの適応 (2010)
  • Author(s): 野田五十樹
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 長崎市
  • Year and Date: 2010-06-09
• [Presentation] マルチエージェント環境下における強化学習のステップサイズパラメータの適応 (2010)
  • Author(s): 野田五十樹
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 長崎
  • Year and Date: 2010-06-09
• [Presentation] ニュートン法による強化学習ステップサイズパラメータの調整法 (2010)
  • Author(s): 野田五十樹
  • Organizer: 情報処理学会全国大会
  • Place of Presentation: 東京
  • Year and Date: 2010-03-09
• [Presentation] ニュートン法よる強化学習ステップサイズパラメータの調整法 (2010)
  • Author(s): 野田五十樹
  • Organizer: 情報処理学会全国大会
  • Place of Presentation: 東京
  • Year and Date: 2010-03-09
• [Presentation] 強化学習と社会の安定化 (2010)
  • Author(s): 野田五十樹
  • Organizer: FUN-AI 2010
  • Place of Presentation: 函館
  • Year and Date: 2010-02-22
• [Presentation] 指数的移動平均2乗誤差の最小化によるステップサイズパラメータの調整法 (2009)
  • Author(s): 野田五十樹
  • Organizer: JAWS-2009
  • Place of Presentation: 蔵王
  • Year and Date: 2009-10-28
• [Presentation] Adaptation of Stepsize Parameter for Non-Stationary Environ-ments by Recursive Exponential Mov-ing Average (2009)
  • Author(s): Itsuki Noda
  • Organizer: ECML 2009 LNIID Work-shop
  • Place of Presentation: Bled, Slovenia
  • Year and Date: 2009-09-07
• [Presentation] Adaptation of Stepsize Parameter for Non-Stationary Environments by Recursive Exponential Moving Average (2009)
  • Author(s): Itsuki Noda
  • Organizer: ECML 2009 LNIID Workshop
  • Place of Presentation: スロベニア、ブレッド
  • Year and Date: 2009-09-07
• [Presentation] 機械学習における再帰的ステップサイズパラメータ調整法を用いた価格変動の分析 (2009)
  • Author(s): 松井宏樹、野田五十樹、尹煕元
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 高松市
  • Year and Date: 2009-06-19
• [Presentation] デマンド型交通導入に関する仮想社会実験 (2009)
  • Author(s): 舟山和男、吉村忍、野田五十樹、藤井秀樹、狩野宏和
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 高松市
  • Year and Date: 2009-06-19
• [Presentation] 機械学習における再帰的ステップサイズパラメータ調整法を用いた価格変動の分析 (2009)
  • Author(s): 松井宏樹, 野田五十樹, 尹煕元
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 高松
  • Year and Date: 2009-06-19
• [Presentation] テマンド型交通導入に関する仮想社会実験 (2009)
  • Author(s): 舟山和男, 吉村忍, 野田五十樹, 藤井秀樹, 狩野宏和
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 高松
  • Year and Date: 2009-06-19
• [Presentation] 強化学習エージェントと報酬頻度に関する考察 (2009)
  • Author(s): 野田五十樹
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 高松市
  • Year and Date: 2009-06-17
• [Presentation] 強化学習エージェントと報酬頻度に関する考察 (2009)
  • Author(s): 野田五十樹
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 高松
  • Year and Date: 2009-06-17
• [Presentation] Recursive Adaptation of Stepsize Parameter for Unstable Environments (2009)
  • Author(s): Itsuki Noda
  • Organizer: ALA-2009
  • Place of Presentation: Budapest, Hungary
  • Year and Date: 2009-05-12
• [Presentation] Recursive Adaptation of Stepsize Parameter for Unstable Environments (2009)
  • Author(s): Itsuki Noda
  • Organizer: ALA-2009
  • Place of Presentation: ハンガリー、ブタペスト
  • Year and Date: 2009-05-12
• [Book] Recursive Adaptation of Stepsize Parameter for Non-Stationary Environments in Adap-tive Learning Agents (2010)
  • Author(s): Itsuki Noda
  • Publisher: Springer
• [Book] "Recursive Adaptation of Stepsize Parameter for Non-Stationary Environments" in Adaptive Learning Agents (2010)
  • Author(s): Itsuki Noda
  • Total Pages: 18
  • Publisher: Springer