深層強化学習で実現するCFD解析の高速な収束解到達のための途中解制御則の構築

2022 Fiscal Year Research-status Report

• Project/Area Number: 20K04932
• Research Institution: Japan Aerospace EXploration Agency
• Principal Investigator: 金森 正史 国立研究開発法人宇宙航空研究開発機構, 航空技術部門, 主任研究開発員 (50770872)
• Co-Investigator(Kenkyū-buntansha): 橋本 敦 国立研究開発法人宇宙航空研究開発機構, 航空技術部門, 主幹研究開発員 (30462899)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 数値流体力学 / 深層学習 / 深層強化学習 / 時間積分

Outline of Annual Research Achievements

圧縮性数値流体力学(CFD)解析の、特に陰的な時間発展の収束加速を実現すべく、陰的時間発展コード内にパラメータを導入し、深層強化学習技術を用いてそのパラメータの制御則の構築を試みた。今年度は特に、2次元圧縮性Navier-Stokes方程式を対象として、このような加速を実現することが可能か調査した。
本年度は、収束の遅延が見られる問題設定として、遷音速の翼型周りの流れを対象とし、その系に対して深層強化学習技術、特にProximal Policy Optimization(PPO)と呼ばれる、パラメータの値を与える方策を得る学習アルゴリズムを適用した。昨年度はLU-SGS陰的時間発展法を用いていたが、今年度は、領域内の各格子点に対して学習を効率的に行うため、MFGS陰的時間発展法及びodd/even法の組み合わせに切り替え、そこに学習対象のパラメータを導入し、制御則獲得を試みた。このような方法を取り入れることで、各格子点において（深層）強化学習適用の大前提であるマルコフ決定過程が満たされるため、各格子点に独立して深層強化学習による方策を適用できるようになる。このことは、CFDのように、格子点全体が1つの場として定義されるような環境において、各格子点が能動的に制御され、その結果、場全体の最適化が可能になることが期待される。
その結果、既定の誤差に達する時間発展ステップの回数の観点で、通常の時間発展法に比べて1.8～2.2倍程度の短縮が確認された。これは、前述の通り、各格子点への能動的な制御が、CFD解析全体の最適化に寄与する、という当初の狙いが実現されたものと考察される。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

2022年度は、2021年度に引き続き、年度の前半は所属組織の中での異動中であり、研究業務全般に従事するエフォートを全くことができなかった。年度の後半、10月以降に研究の場に復帰し、現在の状況に至る。そのため、2023年度も本研究案件を継続させてもらえるように申請し、受理されている。

Strategy for Future Research Activity

2023年度は、2022年度で検討していた2次元Navier-Stokes方程式について、更なる高速化を実現するための方策を検討する。実際、本提案の目標は、従来法よりも1桁短い時間発展ステップ数の実現であり、それに向けて、深層強化学習のネットワークや学習アルゴリズム、報酬の与え方など、考えられる改善手法を適用して更なる加速の実現可否を検討する。
また、3次元化、非構造格子対応に向けた方策を含めて、より詳細な方策の検討を実施する。具体的には、3次元の場合には計算負荷、学習負荷が増大するため、加速効果を維持しつつ、解析・学習コストを低減する方法を検討する。また、2次元の場合とは異なり、3次元の場合は非構造格子を対象とする予定であるため、格子トポロジーに依らずに対応ができるような方法論を検討する。

Causes of Carryover

前述の通り、2022年度の半分は、研究業務にエフォートを割くことが全くできなかったため、次年度使用額として残る形となった。