• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

自動運航船を実現する自律操船AIの開発:深層逆強化学習による熟練者の模倣と超越

研究課題

研究課題/領域番号 22J20009
配分区分補助金
研究機関大阪公立大学

研究代表者

檜垣 岳史  大阪公立大学, 大学院工学研究科, 特別研究員(DC1)

研究期間 (年度) 2022-04-22 – 2025-03-31
キーワード自動運航船 / 避航操船 / 逆強化学習 / 模倣学習 / 航路計画 / 熟練船長 / 海上衝突予防法 / 衝突危険領域
研究実績の概要

本研究課題では、人間の経験に従って実行される避航操船行動の定量化を図るとともに、熟練船長の感覚に基づく避航航路の獲得に取り組んだ。
まず、最大エントロピー逆強化学習を用いて任意の避航航路から最適報酬を導出する手法を提案した。その検証のため、Dangerous Area of Collision (DAC)と呼ばれる衝突危険領域を避けるようなサンプル航路をあらかじめ生成し、その航路を逆強化学習の入力とすることで報酬関数を推定した。推定された報酬分布がDACの形状と良く一致することから、操船の感覚を定量化する手段として最大エントロピー逆強化学習が有効であることを示した。続いて、一般商船の船長経験者の協力のもと、船長による操船シミュレーション実験を実施した。実験で得られた操船航路をエキスパートデータとし報酬関数を導出することで、熟練船長による避航操船の特徴を明らかにした。さらに、得られる報酬が最大となるような経路探索を行うことで熟練船長の感覚に基づく最適航路計画を提案し、今津問題と呼ばれる避航操船のテストシナリオを用いて最適航路計画の有用性を示した。一連の研究成果は日本船舶海洋工学会論文集36巻に掲載されている。
他方、研究の遂行にあたり、逆強化学習の適用範囲が小規模かつ離散的な状態空間に限られるという課題に直面した。そこで、強化学習と逆強化学習の2段階最適化問題を1つのミニマックス問題として定式化した敵対的生成模倣学習を導入し、大規模連続状態空間に適用可能な避航航路計画手法を開発した。本年度は、相手船1隻に対する避航航路のサンプルデータが与えられた際、本手法によって所与の航路を精度良く模倣できること確認した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初の計画通り、熟練船長の避航操船データに逆強化学習を適用することで船長の操船感覚に基づく最適報酬を導出するとともに、最適報酬に基づく航路計画を策定することができた。加えて、最大エントロピー逆強化学習に内在する適用限界に着目し、敵対的生成模倣学習を用いた避航航路計画手法を開発した。これは当初の計画を前倒して得られた成果である。他方、当初計画していた熟練者の感覚に即した評価指標の提案については未達成であり、研究を加速させていく必要がある。

今後の研究の推進方策

次年度は、敵対的生成模倣学習に基づく避航航路計画手法を輻輳海域や制限水域などにも適用できるよう拡張し、汎用的な手法を構築する。さらに、熟練船長の感覚に基づく避航操船の評価指標の確立に取り組む。

  • 研究成果

    (4件)

すべて 2022

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (3件)

  • [雑誌論文] Investigation and Imitation of Human Captains' Maneuver Using Inverse Reinforcement Learning2022

    • 著者名/発表者名
      Takefumi Higaki, Hirotada Hashimoto, Hitoshi Yoshioka
    • 雑誌名

      日本船舶海洋工学会論文集

      巻: 36 ページ: 137-148

    • DOI

      10.2534/jjasnaoe.36.137

    • 査読あり / オープンアクセス
  • [学会発表] 自動避航操船のための最適航路計画の策定 -逆強化学習による熟練船長の模倣-2022

    • 著者名/発表者名
      檜垣 岳史, 橋本 博公, 吉岡 舜
    • 学会等名
      日本船舶海洋工学会 令和4年春季講演会
  • [学会発表] 敵対的生成模倣学習による避航操船行動の再現2022

    • 著者名/発表者名
      檜垣 岳史, 橋本 博公
    • 学会等名
      日本船舶海洋工学会 令和4年秋季講演会
  • [学会発表] 熟練船長による避航操船行動の解明と模倣2022

    • 著者名/発表者名
      檜垣 岳史
    • 学会等名
      日本船舶海洋工学会関西支部 学生研究発表会

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi