2019 Fiscal Year Annual Research Report
Development of Algorithm for Ship Handling Decision using Deep Reinforcement Learning
| Project/Area Number |
18H01642
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
古川 芳孝 九州大学, 工学研究院, 教授 (90253492)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石橋 篤 東京海洋大学, 学術研究院, 講師 (00242321)
茨木 洋 九州大学, 工学研究院, 助教 (20274508)
木村 元 九州大学, 工学研究院, 教授 (40302963)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 自動運航船 / 海上安全 / 深層強化学習 / 操船判断 / 衝突回避 |
|---|
| Outline of Annual Research Achievements |
前年度に引き続き，学習過程で得られる操船行動を適切に評価することを目的として，評価に用いるパラメータとして避航路上の航行距離，元の航路と避航路に囲まれる部分面積等を採用し，それらを用いて避航性能を評価するとともに報酬を与える方法を開発し，その有効性について確認した。
また，自船の周囲を航行する単船を対象として，前年度に引き続き深層強化学習（Deep Q-Learning）を適用した操船判断アルゴリズムの開発を行った。ニューラルネットワークの層数やニューロン数のハイパーパラメータについては，ベイズ最適化の適用により，自動的に設定するものとした。また，行き合い状態を対象として，海上衝突予防法等に違反して行動する船舶が自船の周囲に存在する状況を想定し，通常の操船では安全航行を確保できない状況に対して開発した操船判断アルゴリズムを適用したシミュレーション計算を実施し，その有効性を確認した。ただし，自船と相手船との相対的な位置関係によって避航性能に差が生じることが明らかになったため，操船判断アルゴリズムのさらなる改良が必要である。
さらに，前年度に開発した，陸上に設置したトータルステーションを使った模型船の位置計測システム，ならびに模型船に搭載した高精度姿勢角計を使った回頭角・回頭角速度計測システムから得られる情報を衝突回避アルゴリズムの入力信号として，通信機能を組み込んだ模型船の運動制御システムの開発を行った。また，本研究課題で開発した操船判断アルゴリズムの性能検証のために，自由航走模型試験を実施する予定であったが，シミュレーション計算に基づく操船判断アルゴリズムの開発の遅れにより，制御システムに操船判断アルゴリズムを組み込んで自由航走模型試験を実施するまでに至っていない。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
学習過程で得られる操船行動を適切に評価し，避航航路を設定するために必要なパラメータの抽出ならびに評価結果に応じた報酬の設定法については，当初予定と比較して初年度の進捗にやや遅れが生じていたものの，第二年度の研究において遅れをその取り戻すことができている。
深層強化学習（Deep Q-Learning）を適用した単船を対象とする操船判断アルゴリズムの開発に関しては，ニューラルネットワークの層数やニューロン数のハイパーパラメータのベイズ最適化を適用した自動設定を可能とするとともに，前述の報酬を組み込んだ避航判断モデルの構築を行った。自船と相手船の位置関係によって避航性能に差が生じる点において改良が必要であるが，おおむね計画通りに順調に進捗している。
複数船同時航行に対応した自由航走模型試験システムの構築に関しては，陸上の位置計測システムと模型船に搭載した回頭角・回頭角速度計測システムから得られる情報を衝突回避アルゴリズムの入力信号として，通信機能を組み込んだ模型船の運動制御システムの開発を行ったが，2隻の模型船を同時航行させるまでには至っていない。従って，当初予定と比較して研究の進捗にやや遅れが生じている。
また，本研究課題で開発した操船判断アルゴリズムの性能検証のための自由航走模型試験については，シミュレーション計算に基づく操船判断アルゴリズムの開発の遅れにより，制御システムに操船判断アルゴリズムを組み込んで自由航走模型試験を実施するまでに至っていない。本研究項目についても当初予定と比較して研究の進捗にやや遅れが生じているため，第三年度に早急に実施する予定である。
以上の通り，一部の研究項目においてやや遅れが生じているが，第三年度の研究において継続して検討を実施することにより，十分挽回可能であると考えている。
|
| Strategy for Future Research Activity |
前年度に引き続き，シミュレーション計算と自由航走模型試験より得られた結果を詳細に検証した上で，衝突危険度の評価法や操船行動の評価指標の設定方法の見直しを行い，操船判断アルゴリズムの性能向上を図る。また，他船の認識が遅れた場合や海上衝突予防法等に違反して行動する船舶が自船の周囲に存在する状況を想定し，通常の操船では安全航行を確保できない状況に対する操船判断アルゴリズムの適用性に関する検討を継続する。
また，陸上に設置したトータルステーションを使った模型船の位置計測システム，ならびに模型船に搭載した高精度姿勢角計を使った回頭角・回頭角速度計測システムから得られる情報を衝突回避アルゴリズムの入力信号として，通信機能を組み込んだ模型船の運動制御システムの改良を継続して行う。模型船の運動制御システムの基本的な機能の確認は，九州大学船舶運動性能試験水槽内で実施する。
加えて，自船の周囲に複数の船舶が存在する輻輳海域において，自船および他船が航行を続けるうちに相互の見合い関係は時々刻々と変化する状況を想定し，より複雑な条件下における操船判断をスムーズに実行できるように操船判断アルゴリズムの性能向上を図る。さらに，単船を対象とした衝突回避問題としての取り扱いが不合理となる状況が生じた場合には，複数の避航対象船をグルーピングして一括避航する等の対応の検討を行う。
最後に，本研究課題で開発する操船判断アルゴリズムの性能検証のために，自船と避航対象船の2隻の模型船を導入して自由航走模型試験を実施する。シミュレーション計算に基づく操船判断アルゴリズムの評価結果と自由航走模型試験により得られた評価結果の間に良好な一致が見られなかった場合には，両者の結果を詳細に検証した上で衝突危険度の評価法や操船行動の評価指標の設定方法の見直しを随時行い，操船判断アルゴリズムの性能向上を図る。
|
