2020 Fiscal Year Research-status Report
Optimizing Fluid Mixing with Reinforcement Learning
| Project/Area Number |
19K14591
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
犬伏 正信 大阪大学, 基礎工学研究科, 助教 (20821698)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 流体混合 / 強化学習 / 非線形力学系 |
|---|
| Outline of Annual Research Achievements |
2020年度は前年度に完成させた流体混合のための深層強化学習（Deep Q-Network）プログラムを用いて，ベンチマーク問題に対して最適化を行い，その有効性を示した．また，強化学習によって得られた混合操作について物理的な解釈を行った．特に，学習が進むにつれて，強化学習が選択する操作は次の３つの段階からなる最適混合操作に操作に近付いていくことが明らかになった．(I) 混合の初期段階では速度場は定常であり，物質線はその速度場によって領域全体に伸張される．(II) その後，時間周期的な速度場，特に双曲型と楕円型のよどみ点（不動点）が時間周期的に切り替わることで効果的に混合が促進される．(III) 終盤では速度場の時間変動は一転して重要ではなくなる．このことを統計的に示すためにランダム混合操作を定義・導入し，定量的に示した．ランダム操作による統計的評価方法は本研究目的に留まらず一般的に強化学習の学習結果の評価に有効な方法である．
また，濃度場の時間発展に拡散の効果も取り入れた場合（有限のペクレ数）についても強化学習による最適化を行った．その結果，高ペクレ数で学習を行った結果（Deep Q-Network）は低ペクレ数の場合にも転用可能であること，その逆は必ずしも有効でない（転用可能でない）ことを明らかにした．このことは将来的に強化学習を混合問題へ適用する際に重要な設計指針となり得る．この転用可能性については（当初の計画にはなかった）転移学習の研究成果から派生したものであり，2020年度はこの転移学習法についての結果を含め国際学術誌や学会にて成果発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り，流体混合のための深層強化学習プログラムの完成と最適化の効果検証を行うことができたため．また混合問題特有の学習（最適化）結果の数理物理的解釈も与えることが出来たため．さらに，当初の計画にはなかったものの，転移学習の研究成果を国際学術誌にて発表し，本研究の成果創出にもつなげることが出来たため．
|
| Strategy for Future Research Activity |
強化学習の重要な問題の一つに部分観測の問題があげられる．当初の計画通り，この問題をリザーバコンピューティングを用いることで解決することを目標とする．まず比較的容易な問題に対して本手法を適用し数理的な基礎付けを行う．さらに本手法を応用し，本来の問題である流体混合問題に適用し，従来法との比較検証を行う．同時に2020年度までに得られた成果を迅速に論文化し国際学術誌より発表する．
|
| Causes of Carryover |
コロナ感染症の影響で参加を予定していた国際会議等が中止となったため．次年度については当初の計画を修正しながら柔軟かつ有効に研究費を活用し研究を進めていく．
|
