• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Studies on autonomous learning of agents' organizational formation for system efficiency

Research Project

Project/Area Number 20H04245
Research InstitutionWaseda University

Principal Investigator

菅原 俊治  早稲田大学, 理工学術院, 教授 (70396133)

Project Period (FY) 2020-04-01 – 2024-03-31
Keywordsマルチエージェントシステム / 組織行動 / 社会学習 / 機械学習 / 深層強化学習 / グループ化・組織化 / マルチエージェントプランニング
Outline of Annual Research Achievements

本年度は、COVID-19の影響で遅れた目的2「行動規範の自律的選択による最適組織化の実現」を進め、次に目的3「能力の相互バランスと相互補完を実現する共同グループ構成 」に着手した。
まず昨年度に着手した順序付き協調タスクにおいて、各エージェントが自分の前後のタスクを担当するエージェントを配慮して自己のタスクを決定・遂行する学習方法を提案した。実際に、前段タスク担当のエージェントは、後を担当するエージェントが視野内に入るまで待ち、実行する。タスク毎に協力すべき仲間の同定と、その仲間を考慮した行動を学習したと言える。
第2にマルチエージェントシステムでは相互作用により、仕事をしないことが最適あるいはせずとも十分と学習したり、周囲の学習が先に進んだ影響で学習の機会を失い、行動の質に差のあるグループの発生が頻出する。この課題に対し、作業量や学習機会に不公平であると、それを感知して強化学習のランダム探索の確率を故意に上げて他のエージェントに学習機会を与え、公平な行動を実現する手法を提案した。逆に、学習が不十分なエージェントがいても、全体の要求条件を満たすならば、エネルギーの効率利用の観点からそれらは不要と判断し意図的に停止させ、各環境で真に必要なエージェント数まで自律的に削減させる手法を提案し、国際会議で発表した。
学習機能には頼らない決定的なアルゴリズムによる複数エージェント(ロボットを想定)の同時搬送問題も継続的に進めた。これは、深層(強化)学習のみに頼ると間違った行動を起こすこともあり、それが許されない環境も考慮するためである。今年度は、特に実環境を考慮し、移動に遅延が発生しても継続できる実装が容易な手法を提案した。エージェントの到達性を保証する証明も加え、当該分野でトップ会議のAAMASに採択された。水平・垂直輸送混合問題への適用を想定したアルゴリズムも提案した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

COVID-19後の影響もやや残り、研究協力者の発表機会に遅延はあったが、基本的には、計画通り遂行している。特に、協力すべきエージェントの同定学習、そのために着目した情報の明確化、ならびに協調行動のための特定のエージェントを対象とした行動の学習が生成されたと言える。将来、AIプログラムが、人や組織の代理として行動するときの戦略的行動の学習の基礎の一部ができたと考える。さらに継続的に当該分野のトップレベルの国際会議AAMASにも採択されるなど、国際的にも評価も得ていると考えている。

Strategy for Future Research Activity

2023年度およびそれ以降については、目的3に向けて研究を進めるとともに、深層学習によらないアルゴリズムベースの研究と、深層強化学習で得られた行動の根拠や正当性を示す研究を進める。具体的には、学習結果の説明性の技術から、逆に人間側からのコントローラビリティの可能性を追求する。
またアルゴリズムに基づく研究は、現状では深層(強化)学習に基づく行動には望まれない行動が含まれることもあり、それを補うため、あるいはそれを許容できない応用分野に適用するために、重要な課題と考えている。また、エージェントが組織行動のために、他の仲間の判断パターンを内部にモデル化し、それらの行動を推定しながら自己の行動を選択・適応させる研究も重要と考えており、この課題についても、今後の研究に向け着手したいと考えている。

  • Research Products

    (12 results)

All 2023 2022

All Journal Article (9 results) (of which Peer Reviewed: 8 results,  Open Access: 6 results) Presentation (3 results)

  • [Journal Article] Distributed Planning with Asynchronous Execution with Local Navigation for Multi-agent Pickup and Delivery Problem2023

    • Author(s)
      Yuki Miyashita, Tomoki Yamauchi and Toshiharu Sugawara
    • Journal Title

      Proceedings of the 22nd International Conference on Autonomous Agents and Multi-Agent Systems (AAMAS 2023)

      Volume: - Pages: 914-922

    • DOI

      10.5555/3545946.3598729

  • [Journal Article] Autonomous Energy-Saving Behaviors with Fulfilling Requirements for Multi-Agent Cooperative Patrolling Problem2023

    • Author(s)
      Matsumoto Kohei、Yoneda Keisuke、Sugawara Toshiharu
    • Journal Title

      Proceedings of the 15th International Conference on Agents and Artificial Intelligence

      Volume: 1 Pages: 37-47

    • DOI

      10.5220/0011645000003393

    • Peer Reviewed
  • [Journal Article] Imbalanced Equilibrium: Emergence of?Social Asymmetric Coordinated Behavior in?Multi-agent Games2023

    • Author(s)
      Bai Yidong、Sugawara Toshiharu
    • Journal Title

      Neural Information Processing --- Proceedings of the 29th International Conference on Neural Information Processing (ICONIP 2022) Part II

      Volume: LNCS 13624 Pages: 305~316

    • DOI

      10.1007/978-3-031-30108-7_26

    • Peer Reviewed / Open Access
  • [Journal Article] Negotiation Protocol with Learned Handover of Important Tasks for Planned Suspensions in Multi-agent Patrol Problems2022

    • Author(s)
      Tsuiki Sota、Yoneda Keisuke、Sugawara Toshiharu
    • Journal Title

      Agents and Artificial Intelligence (LNAI)

      Volume: LNAI 13786 Pages: 27~47

    • DOI

      10.1007/978-3-031-22953-4_2

    • Peer Reviewed
  • [Journal Article] Efficient Path and Action Planning Method for Multi-Agent Pickup and Delivery Tasks under Environmental Constraints2022

    • Author(s)
      Yamauchi Tomoki、Miyashita Yuki、Sugawara Toshiharu
    • Journal Title

      SN Computer Science (Springer-Nature)

      Volume: 4-83 Pages: 1-20,

    • DOI

      10.1007/s42979-022-01475-5

    • Peer Reviewed / Open Access
  • [Journal Article] Flexible Exploration Strategies in Multi-Agent Reinforcement Learning for Instability by Mutual Learning2022

    • Author(s)
      Miyashita Yuki、Sugawara Toshiharu
    • Journal Title

      Proceedings of the 21st IEEE International Conference on Machine Learning and Applications

      Volume: IEEE Xplore Pages: 579-584

    • DOI

      10.1109/ICMLA55696.2022.00100

    • Peer Reviewed / Open Access
  • [Journal Article] 一時的な優先度と退避を用いた効率的なマルチエージェント配送2022

    • Author(s)
      藤谷 雪北, 山内 智貴, 宮下 裕貴, 菅原 俊治
    • Journal Title

      情報処理学会論文誌トランザクション:数理モデル化と応用 (TOM)

      Volume: 15-4 Pages: 11-22

    • Peer Reviewed / Open Access
  • [Journal Article] Two-stage reward allocation with decay for multi-agent coordinated behavior for sequential cooperative task by using deep reinforcement learning2022

    • Author(s)
      Miyashita Yuki、Sugawara Toshiharu
    • Journal Title

      Autonomous Intelligent Systems

      Volume: 2-1-10 Pages: 1-18

    • DOI

      10.1007/s43684-022-00029-z

    • Peer Reviewed / Open Access
  • [Journal Article] Task Selection Algorithm for?Multi-Agent Pickup and?Delivery with?Time Synchronization2022

    • Author(s)
      Yamauchi Tomoki、Miyashita Yuki、Sugawara Toshiharu
    • Journal Title

      Proceedings of the 24th International Conference on Principles and Practice of Multi-Agent Systems (PRIMA 2022)

      Volume: LNAI 13753 Pages: 458~474

    • DOI

      10.1007/978-3-031-21203-1_27

    • Peer Reviewed / Open Access
  • [Presentation] マルチエージェント資材搬送問題における動作遅延に対応した自律分散アルゴリズムの提案2022

    • Author(s)
      宮下裕貴, 山内智貴, 菅原俊治
    • Organizer
      人工知能と知識処理研究会技術研究報告 (電子情報通信学会)
  • [Presentation] Agent based Modeling and Reinforcement Learning for optimal allocation of resources2022

    • Author(s)
      Rashmi Tilak and Toshiharu Sugawara
    • Organizer
      人工知能と知識処理研究会技術研究報告 (電子情報通信学会)
  • [Presentation] 顕著性マップを用いた将棋用ニューラルネットワークの可視化2022

    • Author(s)
      仲宗根元徳, 菅原俊治
    • Organizer
      人工知能と知識処理研究会技術研究報告 (電子情報通信学会)

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi