2020 Fiscal Year Research-status Report
Development of Collision Avoidance Model Based on Simulation Analysis of Automatic Collision Avoidance Maneuvering Using Deep Reinforcement Learning
| Project/Area Number |
20K14971
|
|---|
| Research Institution | National Institute of Maritime, Port and Aviation Technology |
|---|
Principal Investigator |
澤田 涼平 国立研究開発法人海上・港湾・航空技術研究所, その他部局等, 研究員 (00825911)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 避航操船 / 深層強化学習 / 自動運航船 / OZT / COLREGs |
|---|
| Outline of Annual Research Achievements |
2020年度研究項目「深層強化学習による避航モデルのベースラインの構築」では、深層強化学習を用いてベースラインとなる避航モデルの学習を行った。今津問題と呼ばれる1～3隻の相手船が配置されたシナリオセットを学習用の交通流シナリオとして設定し、加えて避航モデルの汎化性能を向上させるためにランダムな配置のシナリオも加えた。異なる安全航過距離を設定したOZT（Obstacle Zone by Target）を用いた避航モデルを深層強化学習の一手法であるPPO（Proximal Policy Optimization）により学習し、避航モデルを構築した。安全航過距離を広げた学習は、全結合のニューラルネットワークでは困難であったため、LSTM（Long Short Term Memory ）と呼ばれる時系列データに特化したネットワーク構造を避航モデルのニューラルネットワークに取り入れることで学習の安定化を図った。また、OZTの計算においても、従来のOZTに対して前方航過距離による横切りの左右の区別や安全航過距離以下で既存のOZTを補完する内部OZTを提案し、学習への影響を調べた。またこのモデルでは、実際の船舶の航行手段に合わせて、目標針路指示（実際に船舶で利用される自動操舵装置への針路指示入力を想定）と直接操舵（避航モデルが操舵量を含めて学習する、つまり船舶の操縦性能も含めて学習する必要がある）の二種類の出力で学習を行った。学習結果は、今津問題に対して、0.5海里の安全航過距離までの離隔距離を確保した避航を行うことができるモデルの学習が行えることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
予定していた、安全航過距離を広げたときの避航モデル構築までが完了した。避航モデルは2種類の出力（針路指示と舵角指示）を行うモデルを作成し、想定される自動運航船システムのバリエーションにも対応できるように工夫した。今津問題と呼ばれる1～3隻の他船が配置された交通流シナリオセットを利用することで基本的な避航操船機能と安全性の確認として、先行研究よりも余裕のある最小で0.5海里の離隔距離を確保できる避航モデルを学習させることができた。
以上の研究実施内容から、概ね計画した通りの進捗と判断する。
|
| Strategy for Future Research Activity |
今後は予定どおり、2020年度に作成した避航モデルを用いた大量シミュレーションによる避航操船の分析を目標として研究を進める。OZTを用いた避航操船分析用のシナリオセットをシナリオエディタを用いて作成するとともに、避航モデルを確率的行動選択によりシミュレーションさせることで、大量の避航操船の航跡パターンを集める。その後、蓄積された避航操船の航跡パターンについて、CPA（最接近点）や2船間距離、方位変化などの避航操船判断に用いられるパラメータを中心に評価を行い、その結果を分析・整理する。
|
| Causes of Carryover |
コロナ等の事情により、大学等との意見交換、調査、学会発表等の出張費用および国際会議等の参加費、出張費用等が残った。次年度では、データ処理等で大量の記録機器やソフトウェアが必要になる計画であり、それらの物品費に替える。
|
Research Products
(5 results)
