Development of Collision Avoidance Model Based on Simulation Analysis of Automatic Collision Avoidance Maneuvering Using Deep Reinforcement Learning

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K14971
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 24020:Marine engineering-related
• Research Institution: National Institute of Maritime, Port and Aviation Technology
• Principal Investigator: SAWADA RYOHEI 国立研究開発法人海上・港湾・航空技術研究所, その他部局等, 研究員 (00825911)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 自動避航船 / 避航操船 / シナリオ / COLREGs / CPA / 深層強化学習

Outline of Final Research Achievements

In this study, I studied to advance the model of automatic collision avoidance. Simulation evaluation is important to evaluate collision avoidance maneuvers in the development of automatic collision avoidance algorithms using deep reinforcement learning, grid sensors, and OZT. In this study, I developed the method for designing ship traffic scenarios for simulation evaluation. This method allows for an exhaustive evaluation based on COLREGs and avoidance difficulties using collision courses. Furthermore, I obtained the analytical solutions for the metrics of collision avoidance maneuvers evaluation based on the vessel's position and velocity vectors. I also derived the theorem for placing the other vessel in an encounter relationship corresponding to a given CPA vector relationship using these analytical solutions.

Free Research Field

船舶海洋工学

Academic Significance and Societal Importance of the Research Achievements

深層強化学習を用いた避航操船アルゴリズムは現在活発に研究がされており、本研究成果はその先駆けの一つといえるものとなった。また、避航操船の評価シナリオは、これまでいくつか提案されていたが、現行の交通法規に基づく網羅的な評価方法として交通流シナリオセットを提案した。速度差やTCPAを含めた具体的なシナリオ実行手順も示してる例は他にない。また、2船の位置・速度ベクトルに基づく避航操船評価指標の解析解は、数値シミュレーションをすることなく将来に渡った指標値の時系列を与え、またこれに関連したシナリオ設計方法は、全く新しい避航操船の評価手段を提供する。