2022 Fiscal Year Research-status Report
An Interval Maintenance Support Algorithm for Arrival Air Traffic Flow by Integrating Deep Reinforcement Learning and Control
| Project/Area Number |
21K14271
|
|---|
| Research Institution | National Institute of Maritime, Port and Aviation Technology |
|---|
Principal Investigator |
虎谷 大地 国立研究開発法人海上・港湾・航空技術研究所, 電子航法研究所, 主任研究員 (10780976)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 航空交通管理 / 航空管制官支援 / 軌道予測 / ガウス過程回帰 / 深層強化学習 / 最適制御 / 到着管理 |
|---|
| Outline of Annual Research Achievements |
本年度は，前年度に開発したガウス過程回帰 (Gaussian Process Regression: GPR) を用いた航空機速度のモデリング手法に関して，シミュレーションを用いた提案手法の評価を行った．本研究の研究対象である航空管制官のための間隔維持支援アルゴリズムの内部では，間隔維持のための支援情報を計算するために，航空機の軌道予測を必要とする． 提案手法で得られた航空機の速度モデルを支援アルゴリズム内部の軌道予測に用いることで，軌道予測の精度が向上し，その結果，支援アルゴリズムが生成する管制官のための支援情報の精度が向上すると期待された．シミュレーションでは，東京国際空港へ到着する交通流をレーダーデータから抽出し，そこへ支援アルゴリズムを適用することで，現実的な状況を用いた評価を実施した．提案手法と評価結果を論文としてまとめたものが，投稿論文に掲載された．
また本年度は，研究計画の「(ii) 学習アルゴリズムの構築とモデルの学習」に関して，深層強化学習ベースの支援アルゴリズムの開発を行った．具体的には，各航空機の状態を入力とし，最適な行動（管制官の指示）を生成するエージェント（支援アルゴリズム）の構築を目指した．どのような状態量をエージェントへの入力とするか，またどの学習アルゴリズムを使用するか等の選択肢が無数にあるので，いくつかの組み合わせで支援アルゴリズムを試作する必要がある．今年度は特に，状態量として航空機の現在の状態に加えて，上記で述べた軌道予測の結果をエージェントに入力する方法と，学習アルゴリズムとしてDeep Q NetworkとDeep Deterministic Policy Gradientを用いた支援アルゴリズムの試作に注力した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実績の概要」で述べたGPRを用いた航空機速度のモデリング手法に関しては，研究の課程で新たに出てきた課題を解決するものであり，当初研究計画にはない付加的な成果である．一方，深層強化学習ベースの支援アルゴリズム開発に関しては，いくつかの試作をしたものの，現状ではまだ最終的に解きたい問題に対応できるアルゴリズムにはなっていない．以上の状況を総合して，現在までの進捗状況を「おおむね順調に進展している．」とした．
|
| Strategy for Future Research Activity |
「研究実績の概要」で述べたように，現状では深層強化学習ベースの支援アルゴリズム開発に若干の課題がある．支援アルゴリズムの構成要素の組み合わせには無数に選択肢があり，どのような構成が上手くいくかを試行するのに時間を要している．これまでは見込みがありそうな組み合わせを経験的に選択していたが，今後は先行研究等の調査を再度実施し，深層強化学習や対象のモデリングに関する知見を蓄積した上で支援アルゴリズムの組み合わせを検討することで，無駄な試行を減らして研究を加速させていく予定である．
|
| Causes of Carryover |
COVID-19の影響により学会等がオンラインになったため，旅費の積算分に残額が発生した．出張が減った分，追加で研究に関する調査を計画しているため，残額は調査費等使用することを計画している．
|
