• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Reinforcement Learning-Based Multi-Ship Course Search Method with Advanced Action Representation

Research Project

Project/Area Number 19K12100
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionHiroshima City University

Principal Investigator

KAMIO TAKESHI  広島市立大学, 情報科学研究科, 准教授 (20316136)

Project Period (FY) 2019-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywordsマルチエージェントシステム / 強化学習 / 多船航路探索 / 行動表現 / 目標航路 / トラッキング制御 / 回避開始点 / 安全マージン / 学習効率
Outline of Research at the Start

船舶運航において安全性と効率性を勘案した航路を事前に選定することは極めて重要である.このような背景から,多船航路探索用マルチエージェント強化学習システム(MARLS)を開発し,さらに,これが海上交通アセスメントツールとして利用できることに着目して,様々な研究に取り組んできた.本研究もまたその延長上の研究であり,行動表現の高度化による学習効率の向上および高次の要求(例えば,回避開始点の明確化)を満足する航路探索を実現することを主な目的とする.本目的の達成により,多船航路探索用MARLSの海上交通アセスメントツールとしての価値を一層高めることを目指す.

Outline of Final Research Achievements

It is important to pre-select safe and efficient courses for complex collision situations where even actual navigators are at a loss to make a decision, and to get useful knowledge from the process of the course selection. We have developed multi-agent reinforcement learning system (MARLS) to search ships' courses and have worked to improve its value as maritime traffic assessment tools. In this research, we have improved the learning efficiency of MARLS by upgrading the agent's behavior representation from the primitive representation of rudder angle to the advanced representation using target courses corresponding to avoidance, course recovery, and course maintenance. Furthermore, noting that the navigation rules do not clearly define when to start avoiding another ship, we have implemented a function in MARLS to clarify the avoidance starting points.

Academic Significance and Societal Importance of the Research Achievements

研究成果の概要で述べた通り,研究代表者は多船航路探索用MARLSを海上交通アセスメントツールとして利用する研究を継続している.本研究では,多船航路探索用MARLSにおける学習効率の改善と回避開始点を明確化する機能の実装を行った.関連研究としては深層学習を用いた自律船研究が挙げられるが,海上交通アセスメントツールとしての利用は想定していない.ここに本研究の学術的独自性が存在するが,強化学習という共通性から研究成果の相互利用が期待できる.一方,船舶運航の交通量の増大から港則法や海上交通安全法が見直されてきた事実を鑑みれば,有用な海上交通アセスメントツールの開発は大きな社会的意義を持つ.

Report

(6 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (19 results)

All 2024 2023 2022 2021 2020 2019

All Journal Article (10 results) (of which Open Access: 4 results,  Peer Reviewed: 5 results) Presentation (9 results) (of which Int'l Joint Research: 5 results)

  • [Journal Article] 変動安全マージンを導入した目標航路を行動とする多船航路探索2024

    • Author(s)
      寺口凌,神尾武司,田中幹人,中村伊吹
    • Journal Title

      電子情報通信学会 2024年総合大会 講演論文集

    • Related Report
      2023 Annual Research Report
    • Open Access
  • [Journal Article] 目標航路を行動とする強化学習ベース多船航路探索法における探索能力の向上に関する研究2023

    • Author(s)
      寺口凌,神尾武司,藤坂尚登
    • Journal Title

      電子情報通信学会2023年総合大会,情報・システムソサイエティ特別企画 ジュニア&学生ポスターセッション予稿集

      Pages: 9-9

    • Related Report
      2022 Research-status Report
  • [Journal Article] Identification of Avoidance Starting Points by Reinforcement Learning-Based Multi-Ship Course Search Method with Target Courses as Actions2022

    • Author(s)
      Takeshi Kamio, Hiroki Kimura, Takahiro Tanaka, Kunihiko Mitsubori, Hisato Fujisaka
    • Journal Title

      Proc. of International Symposium on Nonlinear Theory and Its Applications

      Pages: 589-592

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 強化学習ベース多船航路探索法における安全性を考慮した航法の無視2021

    • Author(s)
      田中幹人,神尾武司,田中隆博,三堀邦彦,藤坂尚登
    • Journal Title

      電子情報通信学会 技術研究報告

      Volume: NLP2021-44 Pages: 7-12

    • Related Report
      2021 Research-status Report
  • [Journal Article] 強化学習ベース多船航路探索法における回避開始点の明確化2021

    • Author(s)
      木村拓貴,神尾武司,田中隆博,三堀邦彦,藤坂尚登
    • Journal Title

      電子情報通信学会2021年総合大会,情報・システムソサイエティ特別企画,ジュニア&学生ポスターセッション予稿集

      Volume: - Pages: 16-16

    • Related Report
      2020 Research-status Report
  • [Journal Article] A Reinforcement Learning Based Approach to Search Ships' Courses Using Tracking Control2020

    • Author(s)
      Hiroki Kimura, Takeshi Kamio, Takahiro Tanaka, Kunihiko Mitsubori, Hisato Fujisaka
    • Journal Title

      Proc. of International Symposium on Nonlinear Theory and Its Applications

      Volume: - Pages: 199-202

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] ラッキング制御を導入した強化学習ベース多船航路探索法2020

    • Author(s)
      木村 拓貴,冨原崇寛,神尾武司,田中隆博,三堀邦彦,藤坂尚登
    • Journal Title

      電子情報通信学会 技術研究報告

      Volume: NLP2019-131 Pages: 103-108

    • Related Report
      2019 Research-status Report
  • [Journal Article] Modification of Actual Courses including Near-misses by Reinforcement Learning to Search Ships' Courses2019

    • Author(s)
      Takahiro Tomihara, Takeshi Kamio, Hisato Fujisaka
    • Journal Title

      Proc. of International Workshop on Electronics Information and Communication

      Volume: - Pages: 61-64

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] Modification of Near-miss Courses by Reinforcement Learning to Search Ships' Courses2019

    • Author(s)
      Takahiro Tomihara, Takeshi Kamio, Takahiro Tanaka, Kunihiko Mitsubori, Hisato Fujisaka
    • Journal Title

      Proc. of International Symposium on Nonlinear Theory and Its Applications

      Volume: - Pages: 633-636

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Comparing Q-Learning with Profit Sharing for Multi-Ship Course Problems2019

    • Author(s)
      Takahiro Tomihara, Takeshi Kamio, Takahiro Tanaka, Kunihiko Mitsubori, Hisato Fujisaka
    • Journal Title

      Proc. of IEEE Workshop on Nonlinear Circuit Networks

      Volume: - Pages: 17-20

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Presentation] 変動安全マージンを導入した目標航路を行動とする多船航路探索2024

    • Author(s)
      寺口凌
    • Organizer
      電子情報通信学会 総合大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 目標航路を行動とする強化学習ベース多船航路探索法における探索能力の向上に関する研究2023

    • Author(s)
      寺口凌
    • Organizer
      電子情報通信学会2023年総合大会,情報・システムソサイエティ特別企画 ジュニア&学生ポスターセッション
    • Related Report
      2022 Research-status Report
  • [Presentation] Identification of Avoidance Starting Points by Reinforcement Learning-Based Multi-Ship Course Search Method with Target Courses as Actions2022

    • Author(s)
      Takeshi Kamio
    • Organizer
      International Symposium on Nonlinear Theory and Its Applications
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 強化学習ベース多船航路探索法における安全性を考慮した航法の無視2021

    • Author(s)
      田中幹人
    • Organizer
      電子情報通信学会 非線形問題研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] 強化学習ベース多船航路探索法における回避開始点の明確化2021

    • Author(s)
      木村拓貴
    • Organizer
      電子情報通信学会2021年総合大会,情報・システムソサイエティ特別企画,ジュニア&学生ポスターセッション
    • Related Report
      2020 Research-status Report
  • [Presentation] A Reinforcement Learning Based Approach to Search Ships' Courses Using Tracking Control2020

    • Author(s)
      Hiroki Kimura
    • Organizer
      International Symposium on Nonlinear Theory and Its Applications
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Modification of Actual Courses including Near-misses by Reinforcement Learning to Search Ships' Courses2019

    • Author(s)
      Takahiro Tomihara
    • Organizer
      International Workshop on Electronics Information and Communication
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Modification of Near-miss Courses by Reinforcement Learning to Search Ships' Courses2019

    • Author(s)
      Takahiro Tomihara
    • Organizer
      International Symposium on Nonlinear Theory and Its Applications
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Comparing Q-Learning with Profit Sharing for Multi-Ship Course Problems2019

    • Author(s)
      Takahiro Tomihara
    • Organizer
      IEEE Workshop on Nonlinear Circuit Networks
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2019-04-18   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi