2023 Fiscal Year Research-status Report
Development of Collision Avoidance System for Maritime Autonomous Surface Ship: Imitating and Surpassing Human Experts by Deep Inverse Reinforcement Learning
| Project/Area Number |
22KJ2623
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | Osaka Metropolitan University |
|---|
Principal Investigator |
檜垣 岳史 大阪公立大学, 大学院工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Keywords | 自律運航船 / 自動避航操船 / 敵対的生成模倣学習 / 深層強化学習 / 航路プランニング / COLREGs / 輻輳海域 / 操船シミュレータ |
|---|
| Outline of Annual Research Achievements |
本研究課題では、人間の経験に基づいて実行される避航操船行動の定量化を図るとともに、熟練船長の感覚に基づく避航航路の獲得に取り組んだ。
本年度は、敵対的生成模倣学習 (generative adversarial imitation learning; GAIL)を用いた人間らしい避航航路の作成手法を提案した。まず、proximal policy optimization (PPO)と呼ばれる深層強化学習手法を用いて避航操船のサンプル航路を作成し、提案手法がサンプル航路を精度良く再現できることを示した。次に、一般商船の船長経験者による操船航路を用いて本手法の適用可能性を検証し、状態空間の高次元化によって航路の模倣精度が改善されることを明らかにした。さらに、従来型の衝突危険度評価指標を用いて提案手法の評価を行い、研究当時最先端であった先行研究の操船AIと比べてもより安全で効率的な避航操船が可能であることを示した。一連の研究成果は国際学術誌Applied Ocean Researchに掲載されている。
続いて、提案手法の適用性を輻輳海域に拡張した。本研究では深層Q学習 (deep-Q networks; DQN)を用いて輻輳海域における避航操船のデモデータを生成し、最大5隻の相手船に囲まれた状況においても、デモデータと同等の避航操船航路を導出できることを示した。当該の研究成果は国際会議4th International Conference on Smart & Green Technology for Shipping and Offshore Decommissioning (SMATECH 2023)にて公表済みである。
本研究の狙いは、船長らの操船行動を正解とみなすというアプローチによって、これまで定式化が困難であった海上交通ルール (COLREGs)の遵守を暗黙的に達成することにある。提案手法の発展によってあらゆる状況下でも熟練船長と同等の避航操船航路を生成することができれば、自動避航操船の実現に大きく近づくと期待される。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り、模倣学習に基づく航路計画手法を輻輳海域に拡張し、汎用的な航路計画手法を構築することができた。また、熟練者の感覚に即した評価指標の提案については継続して着手しているところであり、これまでの研究成果の応用により達成が見込まれる。
|
| Strategy for Future Research Activity |
次年度は、逆強化学習および模倣学習を用いて熟練船長の感覚に基づく避航操船の評価指標の確立に取り組む。
|
