2019 Fiscal Year Research-status Report
強化学習ベース多船航路探索法における行動表現の高度化
| Project/Area Number |
19K12100
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
神尾 武司 広島市立大学, 情報科学研究科, 講師 (20316136)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | マルチエージェントシステム / 強化学習 / 多船航路探索 / 行動表現 / 学習効率 / 目標航路 / トラッキング制御 |
|---|
| Outline of Annual Research Achievements |
船舶運航において安全性と効率性を勘案した航路を事前に選定することは極めて重要である．研究代表者は現実世界でも適用可能な航路を獲得するためのマルチエージェント強化学習システム（以後，多船航路探索用MARLSと呼ぶ）を開発し，これが海上交通アセスメントツールとして利用できることに着目して様々な研究に取り組んできた．しかしながら，問題の大規模化や複雑化により，学習の長期化が深刻なレベルに達する可能性がある．
本研究では，エージェントが取り得る行動を舵角といった原始的な表現から，回避，針路回復，進路維持といった高度な表現に変更することで多船航路探索用MARLSにおける学習コストの低減を図ることを主目的とする．さらに，行動表現の高度化を通して，船舶運航における高次の要求（例えば，回避開始点の明確化）を満足する航路探索の実現を目指す．
2019年度は交付申請書に記載した『高度な行動表現に対する簡易モデルの構築（第1研究テーマ）』を実施した．具体的には，輻輳海域を航行する船舶の行動が，回避，針路回復，進路維持のいずれかに大別されることから，これらに対応した目標航路を行動として定義し，トラッキング制御によってこれに追従する多船航路探索用MARLSを提案した．今回使用した目標航路は典型的な他船回避にみられる事例から抽出した単純なものであったが，提案MARLSは従来MARLSと比較して学習時間の短縮が確認された．さらに，提案MARLSでは大きな回避や蛇行が抑制されるため，従来MARLSよりも航路効率が高いことも確認された．
以上より，行動表現の高度化が学習コストの低減に有効であることが確認されたが，性能評価実験に使用したテスト問題は比較的小規模かつ単純なものである．つまり，テスト問題の大規模化，複雑化による提案手法の問題点の洗い出しは勿論のこと，目標航路の拡充も今後の課題である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画に従って，『高度な行動表現に対する簡易モデルの構築（第1研究テーマ）』を実現するために，新たな多船航路探索用MARLSを提案した．提案MARLSでは，回避，針路回復，進路維持といった高度な行動表現が「典型的な他船回避にみられる事例から抽出した目標航路」によって定義され，各エージェント（つまり，船舶）は行動として選択した目標航路にトラッキング制御を用いて追従する．比較的小規模かつ単純なテスト問題を用いて提案MARLSの性能評価を行った結果，従来MARLSと比較して学習効率および航路効率の改善が確認された．現時点においては，大規模かつ複雑なテスト問題に対する提案MARLSの性能評価は実施していないが，行動表現の高度化の学習効率に対する有効性は示されたと判断される．以上より，提案MARLSは第1研究テーマの要求を満足するものであり，おおむね順調に研究が進んだといえる．
また，第1の研究テーマと並行して「原始的な行動表現をもつ多船航路探索用MARLSによるニアミス航路の修正」という研究を行った．この研究ではニアミス航路を修正するために，ニアミスの検出とそのニアミスを発生させないための回避開始限界点の探索を行っている．特に，回避開始限界点の探索は船舶運航における高次の要求の１つである回避開始点の明確化に深く関わるため，今後の研究に役立つ知見が得られたと考えられる．したがって，その点については当初の計画以上に研究が進んだといえる．
|
| Strategy for Future Research Activity |
今年度提案した多船航路探索用MARLSによって，回避，針路回復，進路維持といった高度な行動表現に対する簡易モデルが構築された．さらに，比較的小規模かつ単純なテスト問題ではあるものの，本研究課題の主目的である学習効率の向上を確認することができた．
そこで2020年度は，研究計画に従って「簡易モデルの改良および高次の要求を満足する航路探索のためのモデルの細分化（第2研究テーマ）」に取り組むこととする．具体的には，まず，第1研究テーマで構築した多船航路探索用MARLSを大規模化，複雑化したテスト問題に適用することで簡易モデルの限界を明確化し，簡易モデルの改良を図る．さらに，「回避開始点の明確化」という高次の要求を与えた場合の学習効率と航路効率を評価し，適宜，モデルの改良とモデルの細分化を行うものとする．
|
| Causes of Carryover |
予定していた学会および研究打ち合わせが新型コロナウィルスの影響で中止となったため，残金が発生した．この残金は次年度の物品費として使用する予定である．
|
