• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

自動運航船を実現する自律操船AIの開発:深層逆強化学習による熟練者の模倣と超越

研究課題

研究課題/領域番号 22KJ2623
補助金の研究課題番号 22J20009 (2022)
研究種目

特別研究員奨励費

配分区分基金 (2023)
補助金 (2022)
応募区分国内
審査区分 小区分24010:航空宇宙工学関連
研究機関大阪公立大学

研究代表者

檜垣 岳史  大阪公立大学, 大学院工学研究科, 特別研究員(DC1)

研究期間 (年度) 2023-03-08 – 2025-03-31
研究課題ステータス 中途終了 (2023年度)
配分額 *注記
2,100千円 (直接経費: 2,100千円)
2024年度: 500千円 (直接経費: 500千円)
2023年度: 800千円 (直接経費: 800千円)
2022年度: 800千円 (直接経費: 800千円)
キーワード自律運航船 / 自動避航操船 / 敵対的生成模倣学習 / 深層強化学習 / 航路プランニング / COLREGs / 輻輳海域 / 操船シミュレータ / 自動運航船 / 避航操船 / 逆強化学習 / 模倣学習 / 航路計画 / 熟練船長 / 海上衝突予防法 / 衝突危険領域
研究開始時の研究の概要

現在、人的要因による海難事故や船員数不足といった課題を解決するために船舶運航の自動化が強く求められている。自動運航船の実現には他船や障害物との衝突を回避する「自動避航操船」が重要であり、近年、深層学習(AI)の活用によって複雑な状況においても自律的に避航可能な操船システムが開発されてきた。一方、実用化に向けては熟達した人間の高度な操船判断を再現できる段階には至っていないほか、AIがなぜその行動を取ったのかを説明することが難しいといった課題が残されている。そこで、本研究では逆強化学習を用いて熟練船長の操船行動を解明し、海上衝突予防法や熟練者の感覚に即した自律避航操船AIを開発することを目的とする。

研究実績の概要

本研究課題では、人間の経験に基づいて実行される避航操船行動の定量化を図るとともに、熟練船長の感覚に基づく避航航路の獲得に取り組んだ。
本年度は、敵対的生成模倣学習 (generative adversarial imitation learning; GAIL)を用いた人間らしい避航航路の作成手法を提案した。まず、proximal policy optimization (PPO)と呼ばれる深層強化学習手法を用いて避航操船のサンプル航路を作成し、提案手法がサンプル航路を精度良く再現できることを示した。次に、一般商船の船長経験者による操船航路を用いて本手法の適用可能性を検証し、状態空間の高次元化によって航路の模倣精度が改善されることを明らかにした。さらに、従来型の衝突危険度評価指標を用いて提案手法の評価を行い、研究当時最先端であった先行研究の操船AIと比べてもより安全で効率的な避航操船が可能であることを示した。一連の研究成果は国際学術誌Applied Ocean Researchに掲載されている。
続いて、提案手法の適用性を輻輳海域に拡張した。本研究では深層Q学習 (deep-Q networks; DQN)を用いて輻輳海域における避航操船のデモデータを生成し、最大5隻の相手船に囲まれた状況においても、デモデータと同等の避航操船航路を導出できることを示した。当該の研究成果は国際会議4th International Conference on Smart & Green Technology for Shipping and Offshore Decommissioning (SMATECH 2023)にて公表済みである。
本研究の狙いは、船長らの操船行動を正解とみなすというアプローチによって、これまで定式化が困難であった海上交通ルール (COLREGs)の遵守を暗黙的に達成することにある。提案手法の発展によってあらゆる状況下でも熟練船長と同等の避航操船航路を生成することができれば、自動避航操船の実現に大きく近づくと期待される。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初の計画通り、模倣学習に基づく航路計画手法を輻輳海域に拡張し、汎用的な航路計画手法を構築することができた。また、熟練者の感覚に即した評価指標の提案については継続して着手しているところであり、これまでの研究成果の応用により達成が見込まれる。

今後の研究の推進方策

次年度は、逆強化学習および模倣学習を用いて熟練船長の感覚に基づく避航操船の評価指標の確立に取り組む。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実績報告書
  • 研究成果

    (9件)

すべて 2023 2022

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (7件) (うち国際学会 1件、 招待講演 1件)

  • [雑誌論文] Human-like route planning for automatic collision avoidance using generative adversarial imitation learning2023

    • 著者名/発表者名
      Takefumi Higaki, Hirotada Hashimoto
    • 雑誌名

      Applied Ocean Research

      巻: 138 ページ: 103620-103620

    • DOI

      10.1016/j.apor.2023.103620

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Investigation and Imitation of Human Captains' Maneuver Using Inverse Reinforcement Learning2022

    • 著者名/発表者名
      Higaki Takefumi、Hashimoto Hirotada、Yoshioka Hitoshi
    • 雑誌名

      日本船舶海洋工学会論文集

      巻: 36 号: 0 ページ: 137-148

    • DOI

      10.2534/jjasnaoe.36.137

    • ISSN
      1880-3717, 1881-1760
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Apprentice Route Planner for Automatic Collision Avoidance2023

    • 著者名/発表者名
      Takefumi Higaki
    • 学会等名
      4th International Conference on Smart & Green Technology for Shipping and Offshore Decommissioning (SMATECH 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Investigation and Imitation of Expert Decision-Making by Captains2023

    • 著者名/発表者名
      Takefumi Higaki
    • 学会等名
      International Symposium of the Graduate School of Engineering, Osaka Metropolitan University
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 任意の避航航跡を模倣可能な航路プランナーの開発2023

    • 著者名/発表者名
      檜垣 岳史
    • 学会等名
      日本船舶海洋工学会 令和5年春季講演会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 逆時間模倣学習による着桟支援航路の提案2023

    • 著者名/発表者名
      檜垣 岳史
    • 学会等名
      日本船舶海洋工学会 令和5年秋季講演会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 自動避航操船のための最適航路計画の策定 -逆強化学習による熟練船長の模倣-2022

    • 著者名/発表者名
      檜垣 岳史, 橋本 博公, 吉岡 舜
    • 学会等名
      日本船舶海洋工学会 令和4年春季講演会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 敵対的生成模倣学習による避航操船行動の再現2022

    • 著者名/発表者名
      檜垣 岳史, 橋本 博公
    • 学会等名
      日本船舶海洋工学会 令和4年秋季講演会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 熟練船長による避航操船行動の解明と模倣2022

    • 著者名/発表者名
      檜垣 岳史
    • 学会等名
      日本船舶海洋工学会関西支部 学生研究発表会
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi