研究課題
今年度の実績は以下の二つにまとめられる。(1) 深宇宙軌道設計の燃料最小解探索をマルコフ決定過程として表現する宇宙機の軌道制御問題をマルコフ決定過程として捉え、適切な報酬設定を行うことで、軌道生成の成功率最大化と燃料消費量最小化の多目的最適化として定式化できることを示した。決定論的に連続量の制御を出力可能な深層強化学習アルゴリズムのDeep Deterministic Policy Gradient (DDPG)を用いることで、有効な解の探索が進むことを示した。本結果は第63回宇宙科学技術連合講演会で発表された。(2) 無制御期間を適切に処理可能なアルゴリズムの提案(1)で提案された手法は強化学習のオンライン学習という特性上、学習過程においては目的関数にゆがみが生じ、「燃料消費は中程度だが軌道遷移時間が短い軌道」という局所解に陥ってしまう。本研究では、DDPGでは軌道設計で頻繁に登場する無制御（コースティング）期間を適切に評価できないことが原因と考え、明示的に無制御を選択・評価が可能なアルゴリズムを提案した。平面三体問題における平面リアプノフ軌道への遷移問題，及び三次元三体問題におけるTemporarily-Captured Orbiter (TCO)へのランデブー問題に適用し，提案されたアルゴリズムは学習速度が遅くなるものの、長い軌道遷移時間をかけて燃料消費を減らすような軌道をより適切に評価・探索できることを示した。本結果は30th AIAA/AAS Space Flight Mechanics Meetingで発表された。
2: おおむね順調に進展している
軌道設計の燃料最小解探索問題において、深層強化学習アルゴリズムのDeep Deterministic Policy Gradient (DDPG)にコースティングを表現可能な工夫を行うことによって、多様な解を探索可能な手法が導出できた。これは研究目的の「機械学習による軌道構造の自動的な抽出と利用」や「探索結果の学習による探索の効率化」という観点から大きな進展と言える。一方で軌道設計で一般的に行われるように、これらを初期解と考えその後の最適化を前提としたとき、得られた探索手法は多様性などの観点から改善の余地が残されている。
今後の研究の推進方策として、「後の最適化を前提とした初期解を深層（強化）学習で導く枠組み」を提案する必要がある。従来、機械学習の分野では最適化をニューラルネットワークに組み込む方法や強化学習の出力をインナーループの最適化に入力する枠組みなどが提案されている。それらの分野における近年の発展を軌道設計に融合させる方法を検討する。加えてt-SNE等を用いたニューラルネットワークの可視化によって、解空間の中に多数存在する軌道群をどのような内部表現として保持しているかを明らかにし、従来利用されてきた力学系理論との関連性について考察予定である。
すべて 2020 2019
すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (4件) (うち国際学会 3件)
IEEE Aerospace and Electronic Systems Magazine
巻: 35 ページ: 30～44
10.1109/MAES.2019.2955577
