2019 Fiscal Year Research-status Report
Optimizing Fluid Mixing with Reinforcement Learning
| Project/Area Number |
19K14591
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
犬伏 正信 大阪大学, 基礎工学研究科, 助教 (20821698)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 流体混合 / 強化学習 / 機械学習 / 非線形力学 / カオス |
|---|
| Outline of Annual Research Achievements |
流体混合は多種多様な工学応用上で重要であるが，古くから試行錯誤やノウハウに頼っている部分が多く, 最適化されているとは言い難い．一方，強化学習の方法は最適な制御法を得るための機械学習法であり，近年著しく発展している．本研究では強化学習を用いて流体混合を最適化する．
初年度である2019年度は，計画通り強化学習を用いた流体混合の数値実装を行った．具体的には２次元のストークス流れにおいて２種類の強制外力を時間的に変調させることで混合を行った．この問題設定は流体混合の数理的研究おいて標準的であり，混合手法間の効率の定量的な比較が可能である．本研究では深層強化学習のアルゴリズム（Deep Q-Network）を用い，混合の指標である『混合ノルム』を用いて報酬を設定した．その結果得られた混合手法は，先述の２種類の強制外力をある周期で周期的に変調する流れである．この流れは先行研究の最急降下法で得られた非周期流と同程度の混合能力を持ちながら，単純な周期流であり工学的な実装が容易である．現在はこの周期流の最適性を調べるため，力学系解析（有限時間Lyapunov指数）を用いた特徴付けを行っている．また強化学習アルゴリズムは使用する乱数の実現系列に対して学習結果が敏感に依存してしまうことが実用上の問題として指摘されているが，本研究で得られた混合法は乱数の実現系列にほとんど依存しないことも確かめた．
また当初は計画になかった結果として，流体を含む非線形力学系に適した機械学習法を新たに開発した．具体的には，数値計算上で得た学習結果を実験で実装する時などに有効な再学習法（転移学習法）であり，少ないデータでの学習が可能であることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
流体混合という基礎的かつ幅広い工学応用を持つ数理的問題に対して，初めて機械学習が有効であることを示した．時間大域的な最適化の数理的枠組みを与える強化学習が，期待通り流体混合に適していることを示唆する重要な結果であり，研究の順調な進展を示すものである．さらに強化学習による帰納的なアプローチだけではなく，その理論的根拠（流体混合の本質的機構）の理解のための演繹的アプローチも順調に進展している．このことは近年重要性を増している学習結果の解釈（説明）可能性と関連している．また当初の計画にはなかった『非線形力学のための転移学習法』の開発に成功したことは，今後の計画の発展を考える上で重要な基盤になると考える．
|
| Strategy for Future Research Activity |
上述の進捗状況を基に,計画２年目以降は大きく次の2つの方向性で研究を発展させていく．（１）強化学習アルゴリズムの開発は近年著しく進展しているが，本研究ではそれらの新たな知見を取り込めていない．本問題に適した強化学習アルゴリズムを採用し，混合効率の更なる向上を目指す．（２）強化学習アルゴリズムの進展によって性能の向上は期待できる一方で，最適化に関する数理的な理解は難しくなる可能性がある．（１）とは逆の方向性として，より単純なアルゴリズムと問題設定のもとで数理的な理解を進展させる．
|
| Causes of Carryover |
2020年３月の出張予定が新型コロナウイルスの感染拡大を防止するためキャンセルになったこと，数値解析のプログラム実装と試験的計算のため計算機を購入予定であったが，現有計算機上で実行することに変更したため．計算機に関しては2020年度に購入する計画である．
|
