• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

自動運航船を実現する自律操船AIの開発:深層逆強化学習による熟練者の模倣と超越

研究課題

研究課題/領域番号 22KJ2623
配分区分基金
研究機関大阪公立大学

研究代表者

檜垣 岳史  大阪公立大学, 大学院工学研究科, 特別研究員(DC1)

研究期間 (年度) 2023-03-08 – 2025-03-31
キーワード自律運航船 / 自動避航操船 / 敵対的生成模倣学習 / 深層強化学習 / 航路プランニング / COLREGs / 輻輳海域 / 操船シミュレータ
研究実績の概要

本研究課題では、人間の経験に基づいて実行される避航操船行動の定量化を図るとともに、熟練船長の感覚に基づく避航航路の獲得に取り組んだ。
本年度は、敵対的生成模倣学習 (generative adversarial imitation learning; GAIL)を用いた人間らしい避航航路の作成手法を提案した。まず、proximal policy optimization (PPO)と呼ばれる深層強化学習手法を用いて避航操船のサンプル航路を作成し、提案手法がサンプル航路を精度良く再現できることを示した。次に、一般商船の船長経験者による操船航路を用いて本手法の適用可能性を検証し、状態空間の高次元化によって航路の模倣精度が改善されることを明らかにした。さらに、従来型の衝突危険度評価指標を用いて提案手法の評価を行い、研究当時最先端であった先行研究の操船AIと比べてもより安全で効率的な避航操船が可能であることを示した。一連の研究成果は国際学術誌Applied Ocean Researchに掲載されている。
続いて、提案手法の適用性を輻輳海域に拡張した。本研究では深層Q学習 (deep-Q networks; DQN)を用いて輻輳海域における避航操船のデモデータを生成し、最大5隻の相手船に囲まれた状況においても、デモデータと同等の避航操船航路を導出できることを示した。当該の研究成果は国際会議4th International Conference on Smart & Green Technology for Shipping and Offshore Decommissioning (SMATECH 2023)にて公表済みである。
本研究の狙いは、船長らの操船行動を正解とみなすというアプローチによって、これまで定式化が困難であった海上交通ルール (COLREGs)の遵守を暗黙的に達成することにある。提案手法の発展によってあらゆる状況下でも熟練船長と同等の避航操船航路を生成することができれば、自動避航操船の実現に大きく近づくと期待される。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初の計画通り、模倣学習に基づく航路計画手法を輻輳海域に拡張し、汎用的な航路計画手法を構築することができた。また、熟練者の感覚に即した評価指標の提案については継続して着手しているところであり、これまでの研究成果の応用により達成が見込まれる。

今後の研究の推進方策

次年度は、逆強化学習および模倣学習を用いて熟練船長の感覚に基づく避航操船の評価指標の確立に取り組む。

  • 研究成果

    (5件)

すべて 2023

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (4件) (うち国際学会 1件、 招待講演 1件)

  • [雑誌論文] Human-like route planning for automatic collision avoidance using generative adversarial imitation learning2023

    • 著者名/発表者名
      Takefumi Higaki, Hirotada Hashimoto
    • 雑誌名

      Applied Ocean Research

      巻: 138 ページ: 103620~103620

    • DOI

      10.1016/j.apor.2023.103620

    • 査読あり / オープンアクセス
  • [学会発表] Apprentice Route Planner for Automatic Collision Avoidance2023

    • 著者名/発表者名
      Takefumi Higaki
    • 学会等名
      4th International Conference on Smart & Green Technology for Shipping and Offshore Decommissioning (SMATECH 2023)
    • 国際学会 / 招待講演
  • [学会発表] Investigation and Imitation of Expert Decision-Making by Captains2023

    • 著者名/発表者名
      Takefumi Higaki
    • 学会等名
      International Symposium of the Graduate School of Engineering, Osaka Metropolitan University
  • [学会発表] 任意の避航航跡を模倣可能な航路プランナーの開発2023

    • 著者名/発表者名
      檜垣 岳史
    • 学会等名
      日本船舶海洋工学会 令和5年春季講演会
  • [学会発表] 逆時間模倣学習による着桟支援航路の提案2023

    • 著者名/発表者名
      檜垣 岳史
    • 学会等名
      日本船舶海洋工学会 令和5年秋季講演会

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi