分業の創発とそれを活用した人工物システムの持続可能性向上の追求

• 研究課題/領域番号: 17KT0044
• 研究種目: 基盤研究(B)
• 配分区分: 基金
• 応募区分: 特設分野
• 研究分野: 人工物システムの強化
• 研究機関: 早稲田大学
• 研究代表者: 菅原 俊治 早稲田大学, 理工学術院, 教授 (70396133)
• 研究期間 (年度): 2017-07-18 – 2022-03-31
• 研究課題ステータス: 完了 (2021年度)
• 配分額: 18,330千円 (直接経費: 14,100千円、間接経費: 4,230千円); 2020年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円); 2019年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円); 2018年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2017年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
• キーワード: マルチエージェントシステム / 持続可能性 / 分業 / 強化学習 / 交渉 / 自律分散システム / タスク委託 / ノルム / 進化計算 / 協調体制 / 交渉プロトコル / 巡回問題 / 分業体制 / 人工知能、 / エージェント / 機械学習 / 協調

研究成果の概要

本研究では、自律的に判断をする複数のエージェント（自走ロボットなど）から構成されるマルチエージェントシステムにおいて、システムの持続可能性や頑健性を維持するために必須な、取替・更新・定期点検などで停止したときに発生する、一時的な効率・性能低下を緩和するために、エージェント達が自らのタスクを委託し合う交渉手法と、全体の効率を上げるための自律的な組織化・分業化を達成する学習法を追求した。成果は、当該分野でのトップレベルの国際会議で採択されるなど、学術的な評価を得ているものと考える

研究成果の学術的意義や社会的意義

少子化問題や危険箇所での作業など、人間の代理として作業する機械（ロボット等）が期待されている。特に、広大な範囲や複雑な作業が必要な時には、複数のロボットなどの協力が必要である。エージェントは、これらの機械を制御するソフトウェアであり、中心的な存在である。本研究では、これらの知的なエージェントが、学習を通じて自ら担当する作業を決定する分業化により全体の効率を上げると共に、更新や定期点検などが予定されている場合には、やはり自律的な交渉を通して協力的に仕事を補完・委託し合い、その効率低下を最小限に押さえる手法を提案している。

研究成果

• [雑誌論文] Standby-Based Deadlock Avoidance Method for Multi-Agent Pickup and Delivery Tasks (2022)
  • 著者名/発表者名: Tomoki Yamauchi, Yuki Miyashita and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 21st International Conference on Autonomous Agents and Multi-Agent Systems (AAMAS 2022) 巻: 1
  • 査読あり / オープンアクセス
• [雑誌論文] Task Handover Negotiation Protocol for Planned Suspension Based on Estimated Chances of Negotiations in Multi-Agent Patrolling (2022)
  • 著者名/発表者名: Sota Tsuiki, Keisuke Yoneda and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 14th International Conference on Agents and Artificial Intelligence 巻: 1 ページ: 83-93
  • DOI: 10.5220/0010896900003116
  • 査読あり
• [雑誌論文] 深層強化学習を用いたライドシェアリングのサービスエリアの協調制御法の提案 (2021)
  • 著者名/発表者名: 吉田 直樹, 野田 五十樹, 菅原 俊治
  • 雑誌名: 人工知能学会論文誌 巻: 36 号: 5 ページ: AG21-D_1-10
  • DOI: 10.1527/tjsai.36-5_AG21-D
  • NAID: 130008082559
  • ISSN: 1346-0714, 1346-8030
  • 年月日: 2021-09-01
  • 査読あり / オープンアクセス
• [雑誌論文] Path and Action Planning in Non-Uniform Environments for Multi-Agent Pickup and Delivery Tasks (2021)
  • 著者名/発表者名: Tomoki Yamauchi, Yuki Miyashita and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 18th European Conference on Multi-Agent Systems (EUMAS 2021) 巻: LNCS 12802 ページ: 37-54
  • DOI: 10.1007/978-3-030-82254-5_3
  • ISBN: 9783030822538, 9783030822545
  • 査読あり / オープンアクセス
• [雑誌論文] Reducing Efficiency Degradation Due to Scheduled Agent Suspensions by Task Handover in Multi-Agent Cooperative Patrol Problems (2021)
  • 著者名/発表者名: Sota Tsuiki, Keisuke Yoneda, and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 34th International Florida Artificial Intelligence Research Society Conference 巻: 34 号: 1
  • DOI: 10.32473/flairs.v34i1.128442
  • 査読あり / オープンアクセス
• [雑誌論文] Analysis of Coordinated Behavior Structures with Multi-Agent Deep Reinforcement Learning (2021)
  • 著者名/発表者名: Yuki Miyashita and Toshiharu Sugawara
  • 雑誌名: Applied Intelligence 巻: 51 号: 2 ページ: 1069-1085
  • DOI: 10.1007/s10489-020-01832-y
  • 査読あり / オープンアクセス
• [雑誌論文] Distributed Service Area Control for Ride Sharing by Using Multi-Agent Deep Reinforcement Learning (2021)
  • 著者名/発表者名: Naoki Yoshida, Itsuki Noda and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 13th International Conference on Agents and Artificial Intelligence 巻: 1 ページ: 101-112
  • DOI: 10.5220/0010310901010112
  • 査読あり
• [雑誌論文] Effective Area Partitioning in a Multi-agent Patrolling Domain for Better Efficiency (2021)
  • 著者名/発表者名: Katsuya Hattori and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 13th International Conference on Agents and Artificial Intelligence 巻: 1 ページ: 281-288
  • 査読あり
• [雑誌論文] カメラ情報を用いた公平かつ効率的なエレベータ配車制御手法の提案と推定誤差の影響 (2020)
  • 著者名/発表者名: 山内 智貴, 井手 理菜, 菅原 俊治
  • 雑誌名: 電子情報通信学会論文誌D 情報・システム 巻: J103-D 号: 11 ページ: 776-787
  • DOI: 10.14923/transinfj.2019SGP0006
  • ISSN: 1880-4535, 1881-0225
  • 年月日: 2020-11-01
  • 査読あり
• [雑誌論文] Policy Advisory Module for Exploration Hindrance Problem in Multi-agent Deep Reinforcement Learning (2020)
  • 著者名/発表者名: Jiahao Peng and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 23rd International Conference on Principles and Practice of Multi-Agent Systems (PRIMA 2020) 巻: LNAI 12568 ページ: 1-17
  • DOI: 10.1007/978-3-030-69322-0_9
  • ISBN: 9783030693213, 9783030693220
  • 査読あり
• [雑誌論文] Meta-Reward Model Based on Trajectory Data with k-Nearest Neighbors Method (2020)
  • 著者名/発表者名: Xiaohui Zhu and Toshiharu Sugawara
  • 雑誌名: Proceedings of 2020 International Conference on Neural Networks (IJCNN 2020) 巻: IEEE Xplore ページ: 1-8
  • DOI: 10.1109/ijcnn48605.2020.9207388
  • 査読あり
• [雑誌論文] Multi-agent Service Area Adaptation for Ride-Sharing Using Deep Reinforcement Learning (2020)
  • 著者名/発表者名: Naoki Yoshida, Itsuki Noda and Toshiharu Sugawara
  • 雑誌名: 18th International Conference on Practical Applications of Agents and Multi-Agent Systems (PAAMS 2020) 巻: LNAI 12092 ページ: 363-375
  • DOI: 10.1007/978-3-030-49778-1_29
  • ISBN: 9783030497774, 9783030497781
  • 査読あり
• [雑誌論文] Coordinated Behavior of Cooperative Agents Using Deep Reinforcement Learning (2020)
  • 著者名/発表者名: Elhadji Amadou Oury Diallo, Ayumi Sugiyama and Toshiharu Sugawara
  • 雑誌名: Neurocomputing 巻: 396 ページ: 230-240
  • DOI: 10.1016/j.neucom.2018.08.094
  • 査読あり
• [雑誌論文] Multi-Agent Pattern Formation: a Distributed Model-Free Deep Reinforcement Learning Approach (2020)
  • 著者名/発表者名: Elhadji Amadou Oury Diallo and Toshiharu Sugawara
  • 雑誌名: Proceedings of 2020 International Conference on Neural Networks (IJCNN 2020) 巻: 採択済み
  • 査読あり
• [雑誌論文] Learning Efficient Coordination Strategy for Multi-Step Tasks in Multi-Agent Systems using Deep Reinforcement Learning (2020)
  • 著者名/発表者名: Zean Zhu, Elhadji Amadou Oury Diallo, and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 12th International Conference on Agents and Artificial Intelligence - Volume 1 巻: - ページ: 287-294
  • DOI: 10.5220/0009160102870294
  • 査読あり
• [雑誌論文] Multi-Agent Pattern Formation with Deep Reinforcement Learning (2020)
  • 著者名/発表者名: Elhadji Amadou Oury Diallo, and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 34th AAAI Conference on Artificial Intelligence (AAAI 2020), (Student Abstract Track) 巻: -
  • 査読あり
• [雑誌論文] Improvement of Multi-agent Continuous Cooperative Patrolling with Learning of Activity Length (2019)
  • 著者名/発表者名: Ayumi Sugiyama, Lingying Wu and Toshiharu Sugawara
  • 雑誌名: Agents and Artificial Intelligence (LNCS) 巻: 11978 ページ: 270-292
  • DOI: 10.1007/978-3-030-37494-5_14
  • ISBN: 9783030374938, 9783030374945
  • 査読あり
• [雑誌論文] Coordination in Collaborative Work by Deep Reinforcement Learning with Various State Descriptions (2019)
  • 著者名/発表者名: Yuki Miyashita and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 22nd International Conference on Principles and Practice of Multi-Agent Systems 巻: LNCS 11873 ページ: 550-558
  • DOI: 10.1007/978-3-030-33792-6_40
  • ISBN: 9783030337919, 9783030337926
  • 査読あり
• [雑誌論文] Strategies for Energy-Aware Multi-Agent Continuous Cooperative Patrolling Problems subject to Requirements (2019)
  • 著者名/発表者名: Lingying Wu and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 22nd International Conference on Principles and Practice of Multi-Agent Systems 巻: LNCS 11873 ページ: 585-593
  • DOI: 10.1007/978-3-030-33792-6_44
  • ISBN: 9783030337919, 9783030337926
  • 査読あり
• [雑誌論文] Cooperation and Coordination Regimes by Deep Q-Learning in Multi-agent Task Executions (2019)
  • 著者名/発表者名: Yuki Miyashita and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 28th International Conference on Artificial Neural Networks 巻: LNCS 11727 ページ: 541-554
  • DOI: 10.1007/978-3-030-30487-4_42
  • ISBN: 9783030304867, 9783030304874
  • 査読あり
• [雑誌論文] Energy-Efficient Strategies for Multi-Agent Continuous Cooperative Patrolling Problems (2019)
  • 著者名/発表者名: Lingying Wu, Ayumi Sugiyama and Toshiharu Sugawara
  • 雑誌名: Proceedings of 23rd International Conference on Knowledge-Based and Intelligent Information and Engineering Systems ( Procedia Computer Science) 巻: 159 ページ: 465-474
  • DOI: 10.1016/j.procs.2019.09.201
  • 査読あり
• [雑誌論文] Coordination Structures Generated by Deep Reinforcement Learning in Distributed Task Executions (2019)
  • 著者名/発表者名: Yuki Miyashita and Toshiharu Sugawara
  • 雑誌名: Proceedings of the 18th International Conference on Autonomous Agents and Multiagent Systems 巻: - ページ: 2129-2131
  • 査読あり
• [雑誌論文] Coordination Structures Generated by Deep Reinforcement Learning in Distributed Task Executions (2019)
  • 著者名/発表者名: Yuki Miyashita、Toshiharu Sugawarajavascript:onTransientSave()
  • 雑誌名: Proceedings of the 18th International Conference on Autonomous Agents and Multiagent Systems (AAMAS2019) 巻: 印刷中
  • 査読あり / オープンアクセス
• [雑誌論文] Strategies for Energy-Efficient Multi-Agent Continuous Patrolling Tasks (2019)
  • 著者名/発表者名: Lingying Wu, Ayumi Sugiyama, Toshiharu Sugawara
  • 雑誌名: 情報処理学会研究報告 巻: 2019-ICS-194
• [雑誌論文] 巡回問題における能力の異なる複数エージェントの自律的な行動決定手法 (2019)
  • 著者名/発表者名: 岩田 裕登, 杉山 歩未, 菅原 俊治
  • 雑誌名: 情報処理学会研究報告 巻: 2019-ICS-194
• [雑誌論文] Learning of Activity Cycle Length Based on Battery Limitation in Multi-Agent Continuous Cooperative Patrol Problems (2019)
  • 著者名/発表者名: Ayumi Sugiyama, Lingying Wu, Toshiharu Sugawara
  • 雑誌名: Proceedings of the 11th International Conference on Agents and Artificial Intelligence 巻: - ページ: 62-71
  • DOI: 10.5220/0007567400620071
  • 査読あり
• [雑誌論文] Emergence of divisional cooperation with negotiation and re-learning and evaluation of flexibility in continuous cooperative patrol problem (2018)
  • 著者名/発表者名: Sugiyama Ayumi、Sea Vourchteang、Sugawara Toshiharu
  • 雑誌名: Knowledge and Information Systems 巻: 速報版のため未定 号: 3 ページ: 1587-1609
  • DOI: 10.1007/s10115-018-1285-8
  • 査読あり
• [雑誌論文] Learning Strategic Group Formation for Coordinated Behavior in Adversarial Multi-Agent with Double DQN (2018)
  • 著者名/発表者名: Diallo Elhadji Amadou Oury、Sugawara Toshiharu
  • 雑誌名: Springer Lecture Note in Artificial Intelligence 巻: 11224 ページ: 458-466
  • DOI: 10.1007/978-3-030-03098-8_30
  • ISBN: 9783030030971, 9783030030988
  • 査読あり
• [雑誌論文] Deep Q-Networkを用いたマルチエージェントの分散協調探索問題における分業の創発 (2018)
  • 著者名/発表者名: 宮下裕貴, 菅原俊治
  • 雑誌名: エージェント合同シンポジウム予稿集 巻: -
  • 査読あり
• [雑誌論文] 通信制限のある複数エージェントの協調連続巡回問題における担当領域の重複とその抑制手法の提案 (2018)
  • 著者名/発表者名: 吉村 祐, 杉山 歩未, 菅原 俊治
  • 雑誌名: 情報処理学会論文誌トランザクション:数理モデル化と応用 巻: 11 ページ: 50-62
  • NAID: 170000149657
  • 査読あり
• [雑誌論文] マルチエージェント継続協調巡回問題における位置情報を利用したふるまいの類似度推定 (2018)
  • 著者名/発表者名: 杉山歩未, Vourchteang Sea, 菅原 俊治
  • 雑誌名: 人工知能と知識処理研究会技術研究報告 巻: 118 ページ: 23-28
• [雑誌論文] Frequency-Based Multi-agent Patrolling Model and Its Area Partitioning Solution Method for Balanced Workload (2018)
  • 著者名/発表者名: Sea Vourchteang、Sugiyama Ayumi、Sugawara Toshiharu
  • 雑誌名: Springer Lecture Note in Computer Science 巻: 10848 ページ: 530-545
  • DOI: 10.1007/978-3-319-93031-2_38
  • ISBN: 9783319930305, 9783319930312
  • 査読あり
• [雑誌論文] Frequency-based Multi-agent Patrolling Model and Its Area Partitioning Solution Method for Balanced Workload (2018)
  • 著者名/発表者名: Vourchteang Sea, Sugiyama Ayumi, and Sugawara Toshiharu
  • 雑誌名: Proceedings of the 15th International Conference on the Integration of Constraint Programming, Artificial Intelligence, and Operations Research 巻: 印刷中
  • 査読あり
• [雑誌論文] 通信遅延がある環境における効率的なチーム編成手法の提案 (2017)
  • 著者名/発表者名: 舟戸崚也, 早野真史, 飯嶋直輝, 菅原俊治
  • 雑誌名: 知能システム研究会予稿集 (ICS) 巻: ICS-190 ページ: 1-7
• [雑誌論文] Learning to Coordinate with Deep Reinforcement Learning in Doubles Pong Game (2017)
  • 著者名/発表者名: Elhadji Diallo, Ayumi Sugiyama and Toshiharu Sugawara
  • 雑誌名: Proceedings of 16th IEEE International Conference on Machine Learning and Applications 巻: IEEE Xplore ページ: 14-19
  • DOI: 10.1109/icmla.2017.0-184
  • 査読あり
• [雑誌論文] Asynchronous Agent Teams for Collaborative Tasks Based on Bottom-Up Alliance Formation and Adaptive Behavioral Strategies (2017)
  • 著者名/発表者名: Masashi Hayano, Naoki Iijima and Toshiharu Sugawara
  • 雑誌名: Proceedings of The 15th IEEE International Conference on Dependable, Autonomic and Secure Computing 巻: IEEE Xplore ページ: 589-596
  • DOI: 10.1109/dasc-picom-datacom-cyberscitec.2017.105
  • 査読あり
• [雑誌論文] 領域分割を用いたマルチエージェントの巡回清掃問題における重複抑制手法の提案 (2017)
  • 著者名/発表者名: 吉村 祐, 杉山歩未, 菅原俊治
  • 雑誌名: 人工知能と知識処理研究会技術研究報告 巻: 117 ページ: 13-18
• [雑誌論文] 継続協調巡回問題における分業創発と環境変化への追従性 (2017)
  • 著者名/発表者名: 杉山歩未, Vourchteang Sea, 早野真史, 菅原俊治
  • 雑誌名: エージェント合同シンポジウム予稿集 巻: -
  • 査読あり
• [雑誌論文] Improvement of Robustness to Environmental Changes by Autonomous Divisional Cooperation in Multi-Agent Cooperative Patrol Problem (2017)
  • 著者名/発表者名: Ayumi Sugiyama and Toshiharu Sugawara
  • 雑誌名: 15th International Conference on Practical Applications of Agents and Multi-Agent Systems 巻: LNCS 10349 ページ: 259-271
  • 査読あり
• [学会発表] 時系列予測ネットワークと深層強化学習を利用した微視的道路交通における自動運転方策の提案 (2022)
  • 著者名/発表者名: 諏訪 凌太, 菅原 俊治
  • 学会等名: 人工知能学会データ指向構成マイニングとシミュレーション研究報告
• [学会発表] DA3:マルチエージェント深層強化学習における協調行動の解釈性確立と対ノイズ性能の検証 (2022)
  • 著者名/発表者名: 元川善就, 菅原俊治
  • 学会等名: 知能システム研究会 (情報処理学会)
• [学会発表] マルチエージェント搬送問題のためのグラフ理論を活用したデッドロック回避手法の提案 (2022)
  • 著者名/発表者名: 山内智貴, 宮下裕貴, 菅原俊治
  • 学会等名: 知能システム研究会 (情報処理学会)
• [学会発表] 不均一環境におけるマルチエージェント搬送問題のための 効率的な経路・動作計画アルゴリズムの提案 (2021)
  • 著者名/発表者名: 山内智貴, 宮下裕貴, 菅原俊治
  • 学会等名: 知能システム研究会 (情報処理学会)
• [学会発表] マルチエージェント搬送のための環境制約を緩めたPIBT手法の拡張 (2021)
  • 著者名/発表者名: 藤谷雪北, 山内 智貴, 宮下 裕貴, 菅原 俊治
  • 学会等名: 知能システム研究会 (情報処理学会)
• [学会発表] マルチエージェント深層強化学習を用いたライドシェアのサービスエリア制御とスケーラビリティの確保 (2020)
  • 著者名/発表者名: 吉田 直樹, 野田 五十樹, 菅原 俊治
  • 学会等名: 知能システム研究会、情報処理学会
• [学会発表] マルチエージェント協調巡回問題における交渉を通じた エージェントの計画停止の自律的な学習手法の提案 (2020)
  • 著者名/発表者名: 立木 創太, 菅原 俊治
  • 学会等名: 第34回人工知能学会全国大会
• [学会発表] 分散/集中制御によるマルチエージェント深層強化学習を用いた ライドシェアのサービスエリア制御の比較 (2020)
  • 著者名/発表者名: 吉田 直樹, 野田 五十樹, 菅原 俊治
  • 学会等名: 第34回人工知能学会全国大会
• [学会発表] 山内 智貴, 宮下 裕貴, 菅原 俊治 (2020)
  • 著者名/発表者名: 山内 智貴, 宮下 裕貴, 菅原 俊治
  • 学会等名: 第34回人工知能学会全国大会
• [学会発表] Coordination and cooperation for continuous and sustainable operations (2019)
  • 著者名/発表者名: Toshiharu Sugawara
  • 学会等名: 18th International Conference on Practical Applications of Agents and Multi-Agent Systems
  • 国際学会 / 招待講演
• [学会発表] 限界効用逓減の法則を考慮したSNSモデルによるレシピ共有SNSの再現のためのパラメータ推定 (2018)
  • 著者名/発表者名: 三浦 雄太郎, 鳥海不二夫, 菅原俊治
  • 学会等名: 第15回ネットワーク生態学シンポジウム
• [学会発表] マルチエージェント探索問題における粗視化とフィルタリングの統合手法による領域分割について (2018)
  • 著者名/発表者名: 湯徳 尊久, 杉山 歩未, 菅原 俊治
  • 学会等名: 情報処理学会全国大会
• [学会発表] マルチエージェント継続協調巡回における分業の創発と変化に対する柔軟性の評価 (2017)
  • 著者名/発表者名: 杉山 歩未, Sea Vourchteang, 早野 真史, 菅原 俊治
  • 学会等名: 日本ソフトウェア科学会全国大会予稿集