Development of Collision Avoidance System for Maritime Autonomous Surface Ship: Imitating and Surpassing Human Experts by Deep Inverse Reinforcement Learning
| Project/Area Number |
22KJ2623
|
|---|
| Project/Area Number (Other) |
22J20009 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 24010:Aerospace engineering-related
|
|---|
| Research Institution | Osaka Metropolitan University |
|---|
Principal Investigator |
檜垣 岳史 大阪公立大学, 大学院工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Discontinued (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,100,000 (Direct Cost: ¥2,100,000)
Fiscal Year 2024: ¥500,000 (Direct Cost: ¥500,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | 自律運航船 / 自動避航操船 / 敵対的生成模倣学習 / 深層強化学習 / 航路プランニング / COLREGs / 輻輳海域 / 操船シミュレータ / 自動運航船 / 避航操船 / 逆強化学習 / 模倣学習 / 航路計画 / 熟練船長 / 海上衝突予防法 / 衝突危険領域 |
|---|
| Outline of Research at the Start |
現在、人的要因による海難事故や船員数不足といった課題を解決するために船舶運航の自動化が強く求められている。自動運航船の実現には他船や障害物との衝突を回避する「自動避航操船」が重要であり、近年、深層学習(AI)の活用によって複雑な状況においても自律的に避航可能な操船システムが開発されてきた。一方、実用化に向けては熟達した人間の高度な操船判断を再現できる段階には至っていないほか、AIがなぜその行動を取ったのかを説明することが難しいといった課題が残されている。そこで、本研究では逆強化学習を用いて熟練船長の操船行動を解明し、海上衝突予防法や熟練者の感覚に即した自律避航操船AIを開発することを目的とする。
|
| Outline of Annual Research Achievements |
本研究課題では、人間の経験に基づいて実行される避航操船行動の定量化を図るとともに、熟練船長の感覚に基づく避航航路の獲得に取り組んだ。
本年度は、敵対的生成模倣学習 (generative adversarial imitation learning; GAIL)を用いた人間らしい避航航路の作成手法を提案した。まず、proximal policy optimization (PPO)と呼ばれる深層強化学習手法を用いて避航操船のサンプル航路を作成し、提案手法がサンプル航路を精度良く再現できることを示した。次に、一般商船の船長経験者による操船航路を用いて本手法の適用可能性を検証し、状態空間の高次元化によって航路の模倣精度が改善されることを明らかにした。さらに、従来型の衝突危険度評価指標を用いて提案手法の評価を行い、研究当時最先端であった先行研究の操船AIと比べてもより安全で効率的な避航操船が可能であることを示した。一連の研究成果は国際学術誌Applied Ocean Researchに掲載されている。
続いて、提案手法の適用性を輻輳海域に拡張した。本研究では深層Q学習 (deep-Q networks; DQN)を用いて輻輳海域における避航操船のデモデータを生成し、最大5隻の相手船に囲まれた状況においても、デモデータと同等の避航操船航路を導出できることを示した。当該の研究成果は国際会議4th International Conference on Smart & Green Technology for Shipping and Offshore Decommissioning (SMATECH 2023)にて公表済みである。
本研究の狙いは、船長らの操船行動を正解とみなすというアプローチによって、これまで定式化が困難であった海上交通ルール (COLREGs)の遵守を暗黙的に達成することにある。提案手法の発展によってあらゆる状況下でも熟練船長と同等の避航操船航路を生成することができれば、自動避航操船の実現に大きく近づくと期待される。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り、模倣学習に基づく航路計画手法を輻輳海域に拡張し、汎用的な航路計画手法を構築することができた。また、熟練者の感覚に即した評価指標の提案については継続して着手しているところであり、これまでの研究成果の応用により達成が見込まれる。
|
| Strategy for Future Research Activity |
次年度は、逆強化学習および模倣学習を用いて熟練船長の感覚に基づく避航操船の評価指標の確立に取り組む。
|
Report
(2 results)
Research Products
(9 results)
