確率微分方程式で記述される制御系の有限状態マルコフ鎖近似法の開発とその応用

2022 Fiscal Year Annual Research Report

• Project/Area Number: 20K11989
• Research Institution: Osaka University
• Principal Investigator: 鈴木 康之 大阪大学, 大学院基礎工学研究科, 講師 (30631874)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 確率微分方程式 / Fokker-Planck方程式 / 有限状態マルコフ鎖モデル / 強化学習 / データ同化

Outline of Annual Research Achievements

本研究では，確率微分方程式で記述されるシステム動態の初期値問題・境界値問題を，Fokker-Planck方程式の有限要素解析に基づき，有限状態マルコフ鎖モデルによって精度よく近似する枠組みの構築，および強化学習およびデータ同化への応用を行ってきた．2022年度は，これまでに構築してきた，Fokker-Plank方程式を有限状態マルコフ鎖で近似する枠組みを精鋭化するとともに，具体例としてヒト静止立位姿勢の神経制御メカニズムである間欠制御仮説へ応用する事例をまとめた．ヒト静止立位姿勢の間欠制御仮説は，姿勢状態依存的に不連続に制御様式が変化する非線形力学系である．本研究の応用先である強化学習もまた，状態に対して"最適"な行動を選択する方策を明らかにするため，行動（制御）が状態依存的に変化する非線形性があり，これを精度よく近似する枠組みを構築することは大変有用である．本年度に実施した研究により，これまでに本研究で構築してきた枠組みを強化学習へ応用する道筋が明確化された．2022年度には，さらに逆強化学習により，ヒト静止立位姿勢の計測実験データから，ヒトが立位姿勢維持のために採用する神経制御の方策を推定する枠組みの基盤構築を行った．これにより，本研究で構築した，確率微分方程式で記述されるシステムを有限状態マルコフ鎖モデルによって精度よく近似する枠組みと，確率的に変動する生命現象を統一的に扱う枠組みの基盤が出来上がったことになり，データ同化への応用をはじめとする，研究の更なる飛躍が期待できる．