2020 Fiscal Year Research-status Report
強化学習ベース多船航路探索法における行動表現の高度化
| Project/Area Number |
19K12100
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
神尾 武司 広島市立大学, 情報科学研究科, 講師 (20316136)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | マルチエージェントシステム / 強化学習 / 多船航路探索 / 行動表現 / 学習効率 / 目標航路 / トラッキング制御 / 回避開始点 |
|---|
| Outline of Annual Research Achievements |
船舶運航において安全性と効率性を勘案した航路を事前選定することの重要性から，研究代表者は多船航路探索用マルチエージェント強化学習システム（以後，MARLSと呼ぶ）を開発し，研究を行ってきた．しかしながら，問題の大規模化や複雑化により学習の長期化が発生する．
本研究では，エージェントの行動を舵角という原始的な表現から，回避，針路回復，進路維持という高度な表現に変更することで学習効率の向上を図る．さらに，行動表現の高度化を通して，船舶運航における高次の要求（例えば，回避開始点の明確化）を満足する航路探索を目指す．
2019年度の『高度な行動表現に対する簡易モデルの構築（第1研究テーマ）』に続き，2020年度は『簡易モデルの改良および高次の要求を満足する航路探索のためのモデルの細分化（第2研究テーマ）』に着手した．
まず，大規模かつ複雑な問題に対して簡易モデルの性能を検証した．その結果，簡易モデルは学習過程における航路の探索範囲を制限することで学習時間の短縮という利点を得る反面，適切な航路獲得を損なう可能性があることが判明した．簡易モデルでは回避，針路回復，進路維持に対応する目標航路を行動として与えるが，これらはSG方向(スタート地点からゴール地点を見る方向)を基準としており，航路の探索範囲を狭める一因となっている．そこで，回避のための目標航路を他船との位置関係に基づいて再定義した．その結果，探索航路の多様性は得られたが，航路効率性が低下した．更なるモデルの改善が必要である．
さらに，高次の要求として回避開始点を明確化するために，他船との相対距離に応じて確率的に進路維持を強制する手法を提案した．本手法を簡易モデルと組み合わせた結果，回避開始点が一定の範囲内に収まることを確認した．ただし，実用とするには回避開始点の推定精度をさらに上げる必要がある．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
研究実施計画に従い，『簡易モデルの改良および高次の要求を満足する航路探索のためのモデルの細分化（第2研究テーマ）』について，以下の通りに研究を実施した．
まず，大規模かつ複雑な問題に対して簡易モデルの性能を検証した．その結果，簡易モデルは学習過程における航路の探索範囲を制限することで学習時間の短縮という利点を得る反面，適切な航路獲得を損なう可能性があることが判明した．この問題を解決するために，簡易モデルが定義する行動の１つである「回避に対応する目標航路」を再定義した．その結果，航路の探索範囲の拡大は認められたが，航路効率性が低下した．つまり，簡易モデルの問題点に対処したものの，別の問題が発生したため，簡易モデルの改善には至らなかった．
さらに，高次の要求として回避開始点を明確化するために，他船との相対距離に応じて確率的に進路維持を強制する手法を提案した．本手法を簡易モデルと組み合わせた結果，回避開始点が一定の範囲内に収まることを確認したものの，実用とするにはその推定精度をさらに上げる必要がある．加えて，今回の研究では回避開始点の明確化に対してモデルの細分化を検討するまでには至らなかった．
以上より，2020年度の研究成果は第2研究テーマの要求をクリアしておらず，本テーマに対して研究の継続が必要であることから，現在までの進捗状況は遅れていると判断する．
|
| Strategy for Future Research Activity |
2020年度の研究では，2019年度に提案した簡易モデルの問題点を明らかにし，それに対処したものの，別の問題が発生したため，モデルの改善には至らなかった．さらに，高次の要求として回避開始点を明確化するための手法を提案したが，実用とするには推定精度の向上が必要であり，そのためには未着手であるモデルの細分化も検討する必要がある．
そこで2020年度に続き，2021年度も『簡易モデルの改良および高次の要求を満足する航路探索のためのモデルの細分化（第2研究テーマ）』を継続する．さらに，第2研究テーマに対する研究成果が最低限得られた時点で，2021年度に行うべき本来の研究テーマである 『原始的な行動表現による高度な行動表現の補完（第3研究テーマ）』に着手する．具体的には，モデルの細分化を考慮せず，2020年度に考案した手法を修正することで第2研究テーマに取り組む．その後，第3研究テーマと合わせてモデルの細分化を検討することで時間の節約を図る予定である．
しかしながら，昨年度から続くコロナ禍の影響で研究時間と研究協力人員の確保が依然として厳しい状況にある．そこで本研究課題における研究目的の達成を第一に考え，状況次第では研究期間の延長も視野に入れて，研究を丁寧かつ着実に進めることとしたい．
|
| Causes of Carryover |
予定していた学会参加および研究打ち合わせが新コロナ禍の影響で中止もしくはオンラインの開催となった．加えて，大学院生への研究協力依頼（データ整理およびプログラミング補助）もコロナ禍における安全面に配慮して殆ど実施しなかった．以上により，残金（つまり，次年度使用額）が発生した．また，研究の進捗は遅れていると判断せざるを得ない状況にある．
そこで，2021年度は大学院生だけでなく学部生への研究協力依頼を想定して，書籍およびオンライン教材の購入を充実させる．また，研究協力依頼をした学生との連携強化を図るために，コロナ禍の状況に応じてオンラインコミュニケーション環境の備品（マイク，ヘッドフォン，ノートPCなどの貸し出し用備品）を購入する．さらに，学会参加および研究打ち合わせも可能な限りオンラインではなく，現地に出向くことで研究の進捗を加速させるつもりである．以上をもって，適切かつ無駄のない助成金の使用に努めたい．
|
