2018 Fiscal Year Annual Research Report
Development of Algorithm for Ship Handling Decision using Deep Reinforcement Learning
| Project/Area Number |
18H01642
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
古川 芳孝 九州大学, 工学研究院, 教授 (90253492)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石橋 篤 東京海洋大学, 学術研究院, 講師 (00242321)
茨木 洋 九州大学, 工学研究院, 助教 (20274508)
木村 元 九州大学, 工学研究院, 教授 (40302963)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 自動運航船 / 海上安全 / 深層強化学習 / 操船判断 / 衝突回避 |
|---|
| Outline of Annual Research Achievements |
研究代表者らが過去に開発した，最接近距離DCPAと最接近時間TCPAを前件部変数とするファジィ推論により自船の周囲に存在する船舶や沿岸構造物等の対象物との衝突危険性の程度（衝突危険度）を判定する手法に基づき，行き合い状態において衝突危険度を評価する方法について検討を行った。併せて，避航操船のために必要となる航路変更を効率的に行うことを目的として，指定航路を追従して船舶航行させるための制御法を開発し，シミュレーション計算によりその有効性の確認を行った。
また，自船の航路上に安全航行の障害となる対象物を認めて航路の再設定を行う場合，操船行動を開始するタイミング，針路の変更方向，原航路からの偏差の大きさ，増減速の有無，原航路復帰の必要性の有無等，航路の再設定に影響を与えるパラメータが多数存在するため，学習過程で得られる操船行動を適切に評価することを目的として，評価に用いるパラメータの抽出ならびに評価結果に応じた報酬の設定方法について検討を行った。
さらに，衝突危険度の評価法と操船行動の評価指標の検討結果に基づき，自船の周囲を航行する行き合いの見合い状況にある単船を対象として，深層強化学習（Deep Q-Learning）を適用した操船判断アルゴリズムの開発を行ったが，開発した操船判断アルゴリズムに基づく衝突回避性能は不十分であるため，第二年度以降もアルゴリズムの改良が必要である。
最後に，小型模型船を用いて自由航走模型試験を実施することを目的として，陸上から計測した模型船の位置情報データと模型船に搭載した高精度姿勢角計で計測した回頭角の情報データの通信機能を組み込んだ模型船の運動制御システムの開発を行った。回頭角の計測精度に関して改良の余地が若干残されているが，開発した計測システムにより概ね良好な計測結果を得られることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
最接近距離DCPAと最接近時間TCPAを前件部変数とするファジィ推論により自船の周囲に存在する船舶や沿岸構造物等の対象物との衝突危険度を評価する方法については，横切り状態や追い越し状態を含めて検討を行う予定であったが，行き合い状態のみに留まっており，進捗がやや遅れている。避航操船のために必要となる航路変更を効率的に行うことを目的として，指定航路を追従して船舶航行させるための制御法の開発については，当初の予定通り順調に進行している。
また，学習過程で得られる操船行動を適切に評価するために必要となるパラメータの抽出ならびに評価結果に応じた報酬の設定方法，さらに，衝突危険度の評価法と操船行動の評価指標の検討結果に基づいて開発した深層強化学習（Deep Q-Learning）を適用した操船判断アルゴリズムに関しては，得られた衝突回避性能のさらなる向上が必要であり，当初予定と比較して研究の進捗にやや遅れが生じている。
小型模型船を用いて自由航走模型試験を実施するために必要となる陸上に設置したトータルステーションを使った模型船の位置計測システム，ならびに模型船に搭載した高精度姿勢角計を使った回頭角・回頭角速度計測システムに関しては，回頭角の計測精度に関して改良の余地が若干残されているが，概ね良好な計測結果を得られることを確認しており，順調に進行している。
以上より，一部の研究項目においてやや遅れが生じているが，第二年度以降の研究において継続して検討を実施することにより，十分挽回可能であると考えている。
|
| Strategy for Future Research Activity |
前年度に引き続き，学習過程で得られる操船行動を適切に評価することを目的として，評価に用いるパラメータの抽出ならびに評価結果に応じた報酬の設定方法について検討を継続する。
また，自船の周囲を航行する単船を対象として，深層強化学習（Deep Q-Learning）を適用した操船判断アルゴリズムの開発を行う。畳み込みニューラルネットワークの層数やニューロン数が操船行動に及ぼす影響を評価して最適なネットワーク構成を決定するとともに，他船の認識が遅れた場合や海上衝突予防法等に違反して行動する船舶が自船の周囲に存在する状況を想定し，通常の操船では安全航行を確保できない状況に対する操船判断アルゴリズムの適用性に関する検討を継続する。
一方，陸上に設置したトータルステーションを使った模型船の位置計測システム，ならびに模型船に搭載した高精度姿勢角計を使った回頭角・回頭角速度計測システムから得られる情報を衝突回避アルゴリズムの入力信号として，通信機能を組み込んだ模型船の運動制御システムの開発を行う。模型船の運動制御システムの基本的な機能の確認は，九州大学船舶運動性能試験水槽内で実施する。
さらに，開発した操船判断アルゴリズムの性能検証のために，自由航走模型試験を実施する。試験の初期段階においては，実際に航走する模型船は自船の1隻のみとし，衝突危険度の評価対象船の情報は模型船に搭載した運動制御用PC内におけるシミュレーション計算から仮想的に与えるものとする。続いて，避航対象船の模型船を導入し，本研究課題で開発した操船判断アルゴリズムの実用性の確認を行う。
|
