• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

Optimizing Fluid Mixing with Reinforcement Learning

Research Project

Project/Area Number 19K14591
Research InstitutionOsaka University

Principal Investigator

犬伏 正信  大阪大学, 基礎工学研究科, 助教 (20821698)

Project Period (FY) 2019-04-01 – 2023-03-31
Keywords流体混合 / 強化学習 / 非線形力学系
Outline of Annual Research Achievements

2020年度は前年度に完成させた流体混合のための深層強化学習(Deep Q-Network)プログラムを用いて,ベンチマーク問題に対して最適化を行い,その有効性を示した.また,強化学習によって得られた混合操作について物理的な解釈を行った.特に,学習が進むにつれて,強化学習が選択する操作は次の3つの段階からなる最適混合操作に操作に近付いていくことが明らかになった.(I) 混合の初期段階では速度場は定常であり,物質線はその速度場によって領域全体に伸張される.(II) その後,時間周期的な速度場,特に双曲型と楕円型のよどみ点(不動点)が時間周期的に切り替わることで効果的に混合が促進される.(III) 終盤では速度場の時間変動は一転して重要ではなくなる.このことを統計的に示すためにランダム混合操作を定義・導入し,定量的に示した.ランダム操作による統計的評価方法は本研究目的に留まらず一般的に強化学習の学習結果の評価に有効な方法である.
また,濃度場の時間発展に拡散の効果も取り入れた場合(有限のペクレ数)についても強化学習による最適化を行った.その結果,高ペクレ数で学習を行った結果(Deep Q-Network)は低ペクレ数の場合にも転用可能であること,その逆は必ずしも有効でない(転用可能でない)ことを明らかにした.このことは将来的に強化学習を混合問題へ適用する際に重要な設計指針となり得る.この転用可能性については(当初の計画にはなかった)転移学習の研究成果から派生したものであり,2020年度はこの転移学習法についての結果を含め国際学術誌や学会にて成果発表を行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の計画通り,流体混合のための深層強化学習プログラムの完成と最適化の効果検証を行うことができたため.また混合問題特有の学習(最適化)結果の数理物理的解釈も与えることが出来たため.さらに,当初の計画にはなかったものの,転移学習の研究成果を国際学術誌にて発表し,本研究の成果創出にもつなげることが出来たため.

Strategy for Future Research Activity

強化学習の重要な問題の一つに部分観測の問題があげられる.当初の計画通り,この問題をリザーバコンピューティングを用いることで解決することを目標とする.まず比較的容易な問題に対して本手法を適用し数理的な基礎付けを行う.さらに本手法を応用し,本来の問題である流体混合問題に適用し,従来法との比較検証を行う.同時に2020年度までに得られた成果を迅速に論文化し国際学術誌より発表する.

Causes of Carryover

コロナ感染症の影響で参加を予定していた国際会議等が中止となったため.次年度については当初の計画を修正しながら柔軟かつ有効に研究費を活用し研究を進めていく.

  • Research Products

    (6 results)

All 2020

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (5 results)

  • [Journal Article] Transfer learning for nonlinear dynamics and its application to fluid turbulence2020

    • Author(s)
      Inubushi Masanobu、Goto Susumu
    • Journal Title

      Physical Review E

      Volume: 102 Pages: 043301

    • DOI

      10.1103/PhysRevE.102.043301

    • Peer Reviewed
  • [Presentation] リザバーコンピューティングの転移学習と乱流への応用2020

    • Author(s)
      犬伏正信
    • Organizer
      大阪大学MMDSワークショップ「工学と数学の接点を求めて」
  • [Presentation] 非線形力学系のための転移学習と乱流への応用2020

    • Author(s)
      犬伏正信,後藤晋
    • Organizer
      日本物理学会 2020年秋季大会
  • [Presentation] 周期箱乱流の軌道不安定性2020

    • Author(s)
      犬伏正信,後藤晋
    • Organizer
      日本流体力学会年会 2020
  • [Presentation] 周期箱乱流のエネルギーカスケードに基づく転移学習:エネルギー散逸率の推定2020

    • Author(s)
      犬伏正信,後藤晋
    • Organizer
      第34回数値流体力学シンポジウム
  • [Presentation] 強化学習を用いた流体混合の最適化2020

    • Author(s)
      小西幹人,犬伏正信,後藤晋
    • Organizer
      日本流体力学会 年会2020

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi