• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Optimizing Fluid Mixing with Reinforcement Learning

Research Project

Project/Area Number 19K14591
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 12040:Applied mathematics and statistics-related
Research InstitutionTokyo University of Science (2021)
Osaka University (2019-2020)

Principal Investigator

犬伏 正信  東京理科大学, 理学部第一部応用数学科, 准教授 (20821698)

Project Period (FY) 2019-04-01 – 2023-03-31
Project Status Discontinued (Fiscal Year 2021)
Budget Amount *help
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Keywords流体混合 / 強化学習 / 非線形力学系 / カオス / 最適化 / 機械学習 / 非線形力学 / 人工知能
Outline of Research at the Start

流体混合は多種多様な工学応用上で重要であるにも関わらず,古くから試行錯誤やノウハウに頼っている部分が多く, 最適化されているとは言い難い.一方,強化学習の方法は最適な制御法を得るための機械学習法であり,近年著しく発展している.そこで本研究では強化学習を用いて流体混合を最適化する.従来法の単純な応用ではなく,流れの物理(運動方程式)による演繹的な方法と,機械学習による帰納的な方法を組み合わせることで,新しい流体混合手法を確立する.さらに得られた最適な流れの特徴を抽出することで効率的な混合の本質的機構を見出し,撹拌器設計等の工学応用に繋げる.

Outline of Annual Research Achievements

流体混合は多種多様な工学応用上で重要であるにも関わらず,古くから試行錯誤やノウハウに頼っている部分が多く, 数理的に最適化されているとは言い難い.一方,強化学習は時間大域的な最適化問題に有効であり,近年著しく発展しているが,その応用は未だ限定的である.そこで本研究では,流体混合の問題が時間大域的な問題であることに注目し,強化学習を用いて流体混合を最適化する手法を確立した.
具体的には,対象とする流体混合の問題設定を定式化し,流体混合最適化のための深層強化学習(Deep Q-Network)プログラムを実装,ベンチマーク問題に対して最適化を行い有効性を示した.また,強化学習によって得られた最適混合操作が物理的にも理に適っていることを見出した.
また,濃度場の時間発展に拡散の効果も取り入れた場合(有限のペクレ数)についても強化学習による最適化を行った.その結果,高ペクレ数で学習を行った結果(Deep Q-Network)は低ペクレ数の場合にも転用可能であること,その逆は必ずしも有効でない(転用可能でない)ことを明らかにした.このことは将来的に強化学習を混合問題へ適用する際に重要な設計指針となり得る.この転用可能性については(当初の計画にはなかった)転移学習の研究成果から派生したものであり,転移学習法についての結果を含め国際学術誌や学会にて成果発表を行った.最終的な総合報告として,2022年にScientific Reports誌に成果を掲載し,さらにEurekAlert!等を通して研究の成果や重要性について分かりやすく発表した.

Report

(3 results)
  • 2021 Annual Research Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (19 results)

All 2022 2021 2020 2019

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (15 results) (of which Int'l Joint Research: 2 results,  Invited: 2 results) Book (1 results)

  • [Journal Article] Fluid mixing optimization with reinforcement learning2022

    • Author(s)
      Konishi Mikito、Inubushi Masanobu、Goto Susumu
    • Journal Title

      Scientific Reports

      Volume: 12 Issue: 1 Pages: 14268-14268

    • DOI

      10.1038/s41598-022-18037-7

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Transfer learning for nonlinear dynamics and its application to fluid turbulence2020

    • Author(s)
      Masanobu Inubushi, Susumu Goto
    • Journal Title

      Phys. Rev. E

      Volume: 102 Issue: 4 Pages: 043301-043301

    • DOI

      10.1103/physreve.102.043301

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] Transferring Reservoir Computing: Formulation and Application to Fluid Physics2019

    • Author(s)
      Inubushi Masanobu、Goto Susumu
    • Journal Title

      Lecture Notes in Computer Science

      Volume: 11731 Pages: 193-199

    • DOI

      10.1007/978-3-030-30493-5_22

    • ISBN
      9783030304928, 9783030304935
    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Presentation] 3次元周期箱乱流における同期現象と軌道不安定性2022

    • Author(s)
      犬伏正信,後藤晋
    • Organizer
      日本流体力学会 年会2022
    • Related Report
      2021 Annual Research Report
  • [Presentation] リザバーコンピューティングを用いた乱流の状態推定2022

    • Author(s)
      犬伏正信,中谷謙介,後藤晋
    • Organizer
      第 37 回 生研 TSFD シンポジウム
    • Related Report
      2021 Annual Research Report
  • [Presentation] 機械学習を用いた2次元角柱後流の乱流場推定2021

    • Author(s)
      犬伏正信,中谷謙介,本告遊太郎,後藤晋
    • Organizer
      第64回 自動制御連合講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] リザバーコンピューティングの転移学習と乱流への応用2020

    • Author(s)
      犬伏正信
    • Organizer
      大阪大学MMDSワークショップ「工学と数学の接点を求めて」
    • Related Report
      2020 Research-status Report
  • [Presentation] 非線形力学系のための転移学習と乱流への応用2020

    • Author(s)
      犬伏正信,後藤晋
    • Organizer
      日本物理学会 2020年秋季大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 周期箱乱流の軌道不安定性2020

    • Author(s)
      犬伏正信,後藤晋
    • Organizer
      日本流体力学会年会 2020
    • Related Report
      2020 Research-status Report
  • [Presentation] 周期箱乱流のエネルギーカスケードに基づく転移学習:エネルギー散逸率の推定2020

    • Author(s)
      犬伏正信,後藤晋
    • Organizer
      第34回数値流体力学シンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] 強化学習を用いた流体混合の最適化2020

    • Author(s)
      小西幹人,犬伏正信,後藤晋
    • Organizer
      日本流体力学会 年会2020
    • Related Report
      2020 Research-status Report
  • [Presentation] 乱流の普遍性に基づく転移学習2019

    • Author(s)
      犬伏正信,後藤晋
    • Organizer
      第2回先進的ながれ研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] 乱流の普遍性に基づく転移学習:乱流モデリングのためのエネルギー散逸率推定2019

    • Author(s)
      犬伏正信,後藤晋
    • Organizer
      日本機械学会 2019 年度年次大会
    • Related Report
      2019 Research-status Report
  • [Presentation] Reservoir Computing - theory, applications, and physical implementations -2019

    • Author(s)
      犬伏正信
    • Organizer
      大阪大学MMDSワークショップ『工学と数学の接点を求めて』
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] リザーバコンピューティング -力学系を用いた機械学習の数理と応用-2019

    • Author(s)
      犬伏正信
    • Organizer
      シンポジウム「数理科学におけるデータサイエンスの展望」
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] Transferring Reservoir Computing: Formulation and Application to Fluid Physics2019

    • Author(s)
      Masanobu Inubushi and Susumu Goto
    • Organizer
      The 28th International Conference on Artificial Neural Networks
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Transferring reservoir computing: formulation and application to fluid physics2019

    • Author(s)
      Masanobu Inubushi and Susumu Goto
    • Organizer
      Deep Learning and Physics 2019
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] リザーバコンピューティングを用いた乱流エネルギー散逸率の予測2019

    • Author(s)
      後藤晋,犬伏正信
    • Organizer
      第33回数値流体力学シンポジウム
    • Related Report
      2019 Research-status Report
  • [Book] Reservoir Computing2021

    • Author(s)
      Masanobu Inubushi, Kazuyuki Yoshimura, Yoshiaki Ikeda, Yuto Nagasawa
    • Total Pages
      20
    • Publisher
      Springer
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2019-04-18   Modified: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi