• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

全体最適と個人最適を両立させる分散協調問題解決

Research Project

Project/Area Number 23K24903
Project/Area Number (Other) 22H03647 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionKobe University

Principal Investigator

平山 勝敏  神戸大学, 海事科学研究科, 教授 (00273813)

Co-Investigator(Kenkyū-buntansha) 沖本 天太  神戸大学, 海事科学研究科, 准教授 (10632432)
松井 俊浩  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (60437093)
Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥16,640,000 (Direct Cost: ¥12,800,000、Indirect Cost: ¥3,840,000)
Fiscal Year 2024: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2022: ¥8,060,000 (Direct Cost: ¥6,200,000、Indirect Cost: ¥1,860,000)
Keywords分散最適化アルゴリズム / 深層強化学習 / 分散衝突回避
Outline of Research at the Start

集団を構成するエージェントのパフォーマンスが集団全体および個々のエージェントの両者にとって最適なものとなるように、各エージェントが互いの相互作用の仕方を深層強化学習という最新の技術を使って学習する。その一つの応用例として船舶などの自律移動体による自動衝突回避の問題を取り上げ、当初は「ぎこちなく」交差していた移動体が学習過程を経て「賢く」交差できるようになることを実験等で示す。また、ここでの基本的なアイデアがより広い文脈に適用できることを示す。

Outline of Annual Research Achievements

(1) 分散船舶衝突回避アルゴリズムDSSQの各エージェントのコスト関数における針路変更および速度変更の項の重みを調整するパラメータαの設定値(学習アルゴリズムの行動空間に相当)を2通り、3通り、5通り用意した場合の評価実験を行った。その結果、行動空間のサイズが大きくなるにつれ、学習後のエージェントが目標地点に到達するまでの平均所要時間に有意な差は見られなかったが、エージェント間の所要時間の分散については大きく減少することが分かった。当該結果を追記した論文を新たに作成し、可能な限り最終年度である2024年度中に公表したいと考えている。
(2) これまでに開発してきた分散船舶衝突回避アルゴリズムDSSA、DSSA+と最新アルゴリズムであるDSSQの概要を紹介する招待講演を2件行った。1件は国際会議9th International Conference on Advanced Intelligent Maritime Safety and Technologyにおける基調講演、もう1件は2023年度人工知能学会全国大会(第37回)OS-9「AIと制約プログラミング」における招待講演である。
(3) 船舶運航において、各船舶の行動を示すAISデータから異常行動を検知するためのクラスタリングアルゴリズムおよび深層学習アルゴリズムに関する研究を指導学生とともに行い、論文として発表している。それに対する質問対応等のフォローアップを行った。なお当該論文は、Clarivate Analytics社のInCitesにおいて2023年のTop10%論文の一つとしてカウントされている。
(4) その他関連する研究課題として、ビールゲームにおけるマルチエージェント深層強化学習手法、マルチエージェント集配問題の解法の改良、平等性を指向したリーグ戦作成に関する研究に取り組み、それぞれ関連する学会誌および研究集会等で成果発表を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

昨年度初めに船舶海洋系の国際学術誌に投稿していた論文が1回の照会を経て、残念ながら実用面での課題が残るとのことで今年3月に不採択との結果となった。一方、この間に並行して行っていた実験の結果は、全体最適をほぼ維持したまま学習により個人最適を目指すという我々のアプローチの有効性を示すものとなっており、データは概ね出揃ったと考えている。従って、前年度不採択となった論文に新規の結果を追記して最終年度である2024年度にブラッシュアップしていけば、内容的に論文の投稿先を慎重に選ぶ必要はあるが、採択に結びつく可能性は高いと考えている。

Strategy for Future Research Activity

当初計画では、分散衝突回避を題材として全体最適と個人最適を両立させるアプローチの有効性を確認し、さらにそれを別の分散問題解決に適用することを考えていた。しかしながら、本計画の初年度に購入したGPUサーバーを用いたとしても分散衝突回避アルゴリズムにおける学習の効果を評価する実験にかなりの時間がかかることが分かったため、今後はポイントを絞ってできる限り分散衝突回避の問題にエフォートを集中したいと考えている。

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (20 results)

All 2024 2023 2022 Other

All Int'l Joint Research (2 results) Journal Article (7 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 7 results,  Open Access: 7 results) Presentation (11 results) (of which Int'l Joint Research: 6 results,  Invited: 2 results)

  • [Int'l Joint Research] 木浦海洋大学校(韓国)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] 木浦海洋大学校(韓国)

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Integration of Efficient Techniques Based on Endpoints in Solution Method for Lifelong Multiagent Pickup and Delivery Problem2024

    • Author(s)
      Matsui Toshihiro
    • Journal Title

      Systems

      Volume: 12 Issue: 4 Pages: 112-112

    • DOI

      10.3390/systems12040112

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] U12 Basketball League Scheduling Problem Based on Minimizing the Total Traveling Distance and the Number of Breaks2023

    • Author(s)
      Okimoto Tenda、Hirayama Katsutoshi
    • Journal Title

      Transactions of the Japanese Society for Artificial Intelligence

      Volume: 38 Issue: 6 Pages: A-N31_1-9

    • DOI

      10.1527/tjsai.38-6_A-N31

    • ISSN
      1346-0714, 1346-8030
    • Year and Date
      2023-11-01
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Ship Anomalous Behavior Detection Using Clustering and Deep Recurrent Neural Network2023

    • Author(s)
      Zhang Bohan、Hirayama Katsutoshi、Ren Hongxiang、Wang Delong、Li Haijiang
    • Journal Title

      Journal of Marine Science and Engineering

      Volume: 11 Issue: 4 Pages: 763-763

    • DOI

      10.3390/jmse11040763

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Improving Multi-Agent Reinforcement Learning for Beer Game by Reward Design Based on Payment Mechanism2023

    • Author(s)
      Hori Masaaki、Matsui Toshihiro
    • Journal Title

      International Journal of Smart Computing and Artificial Intelligence

      Volume: 7 Issue: 2 Pages: 1

    • DOI

      10.52731/ijscai.v7.i2.789

    • ISSN
      2185-9906, 2185-9914
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Bounded Approximate Payoff Division for MC-nets Games2022

    • Author(s)
      HIRAYAMA Katsutoshi、OKIMOTO Tenda
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E105.D Issue: 12 Pages: 2085-2091

    • DOI

      10.1587/transinf.2022EDP7039

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2022-12-01
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Improvement of Task Allocation in TP Algorithm for MAPD Problem by Relaxation of Movement Limitation and Estimation of Pickup Time2022

    • Author(s)
      Shimokawa Masanori、Matsui Toshihiro
    • Journal Title

      Transactions of the Japanese Society for Artificial Intelligence

      Volume: 37 Issue: 3 Pages: A-L84_1-13

    • DOI

      10.1527/tjsai.37-3_A-L84

    • ISSN
      1346-0714, 1346-8030
    • Year and Date
      2022-05-01
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Many-Objective Container Stowage Optimization Based on Improved NSGA-III2022

    • Author(s)
      Wang Yuchuang、Shi Guoyou、Hirayama Katsutoshi
    • Journal Title

      Journal of Marine Science and Engineering

      Volume: 10 Issue: 4 Pages: 517-517

    • DOI

      10.3390/jmse10040517

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Investigation of Heuristics for PIBT Solving Continuous MAPF Problem in Narrow Warehouse2024

    • Author(s)
      Toshihiro Matsui
    • Organizer
      16th International Conference on Agents and Artificial Intelligence (ICAART 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] An Investigation of Distributed Constraint Optimization with Non-Responding Agents Toward Real-Time Solution Method on Practical Messaging Platforms2024

    • Author(s)
      Toshihiro Matsui
    • Organizer
      16th International Conference on Agents and Artificial Intelligence (ICAART 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Distributed Ship Collision Avoidance Algorithms2023

    • Author(s)
      Katsutoshi Hirayama, Donggyun Kim, Kazuma Gohara, Tenda Okimoto, Koki Miyake, Tomohiro Shiota
    • Organizer
      9th International Conference on Advanced Intelligent Maritime Safety and Technology (Ai-MAST 2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 分散船舶衝突回避アルゴリズム2023

    • Author(s)
      平山 勝敏
    • Organizer
      2023年度人工知能学会全国大会(第37回) (JSAI-2023) OS-9「AIと制約プログラミング」
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] Effect of influential variable based variable-ordering heuristic in small-world networks2023

    • Author(s)
      Tenda Okimoto, Katsutoshi Hirayama
    • Organizer
      13th International Conference on Smart Computing and Artificial Intelligence (IIAI-AAI-SCAI 2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Investigation of Integrating Solution Techniques for Lifelong MAPD Problem Considering Endpoints2023

    • Author(s)
      Toshihiro Matsui
    • Organizer
      21st International Conference on Practical applications of Agents and Multi-Agent System (PAAMS23)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Study Toward Multi-Objective Multiagent Reinforcement Learning Considering Worst Case and Fairness Among Agents2023

    • Author(s)
      Toshihiro Matsui
    • Organizer
      15th International Conference on Agents and Artificial Intelligence
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 深層強化学習による最適な分散衝突回避2022

    • Author(s)
      郷原 一眞,平山 勝敏,沖本 天太,金 東均
    • Organizer
      第21回情報科学技術フォーラム(FIT-2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 飛行禁止区域を考慮したトラックおよびドローンの併用による配送計画問題2022

    • Author(s)
      東山 敏也,平山 勝敏,沖本 天太
    • Organizer
      第21回情報科学技術フォーラム(FIT-2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 回収と配達の両方に時間枠をもつMAPD2022

    • Author(s)
      渡邉 伸二,平山 勝敏,沖本 天太
    • Organizer
      第21回情報科学技術フォーラム(FIT-2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] エージェント間の公平性を伴うマルチエージェント強化学習の非集中型解法のための一検討2022

    • Author(s)
      松井 俊浩
    • Organizer
      2022年度人工知能学会全国大会(第36回)
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi