2022 Fiscal Year Research-status Report
Basic research on interpretability and causality in modeling time-dependent phenomena
| Project/Area Number |
22K21278
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
小松 瑞果 神戸大学, システム情報学研究科, 助教 (80856766)
|
|---|
| Project Period (FY) |
2022-08-31 – 2024-03-31
|
| Keywords | データ駆動型モデリング / 代数的可観測性 / ニューラルネットワーク / 深層学習 / 解釈性 |
|---|
| Outline of Annual Research Achievements |
近年，データ駆動型のモデリングが多数提案されている．このようなモデリングによる科学的知見の抽出に向け，本研究では，現象に関する解釈性等に焦点をおき，それに関するモデリングについて，代数を取り入れたアプローチで取り組む．以下，現象が微分方程式等に従うと仮定し，方程式の一部が未知と考えるアプローチ（以下，A）と，方程式の大部分が未知と考えるアプローチ（以下，B）の二つに大別し，それぞれの成果を概説する．
（A）三つの研究を進めた．まず，Physics-Informed Neural Networkという深層学習モデルに代数的可観測性を取り入れた．これにより，観測データが限定的である場合にも物理現象等を予測可能なモデルが構築できた．本成果は，解釈性に優れた深層学習モデルとみなすことができる．既に，国内の研究集会で口頭発表を行い，2023年度には，数理生物に関する国際学会にて招待講演を予定している．その他は，以前より進めていた，パラメータがデータから同定不可能な場合や，物理計算系の設計に向けた，代数的アプローチに関する研究である．これについて論文を執筆し，現在投稿準備中である．
(B）研究代表者及び共同研究者は，時間発展現象のモデル化に用いられるSciNetと呼ばれる深層学習モデルに対し，新たにSHAPという手法を適用した．具体的には，学習されたモデルの中間層と，現象を支配すると予想されるパラメータ候補の関係について，SHAPを用いて調べることで，深層学習モデルに解釈性を付与することができた．本手法について，パラメータ候補間に従属関係がある場合は解釈性の低下が予想されるが，この場合は，従属関係を考慮した拡張版SHAPや，シンボリック回帰の適用などにより対処できると考えられる．現在，これらの拡張を進めつつ研究のまとめを行っており，2023年度に口頭発表・論文執筆予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前述の通り，2022年度は，Physics-Informed Neural Networkの代数的可観測性に基づく改良（A），同定不可能モデルや物理系の設計に対する代数的アプローチの深化（A），深層学習モデルSciNetに解釈性を付与する手法の構築（B）に取り組んだ． 以下，アプローチＡ及びＢについて，それぞれ進捗状況を整理する．
アプローチAに関して，当初は，スパース推定に対する代数的考察を行うことも予定していたが，具体的な成果が得られたわけではない．これについては，現在，情報収集を進めつつ，神経科学分野への応用可能性を模索している段階にある．一方，当初計画に加え，Physics-Informed Neural Networkに関する研究が進んだ．以上のことから，アプローチAに関する研究について総合的に評価すると，概ね順調に進んでいると考えられる．
アプローチBに関して，当初計画では，深層学習モデルと方程式の一部のみが未知のモデルを個別に学習し関連づけることで，前者の解釈性を担保するような研究を予定していた．SciNetへの解釈性を付与は，これに対応する成果である．一方，Physics-Informed Neural Networkに関する研究においては，一般的な多層パーセプトロンにより構成されたネットワークを用い，現象が従うと考えられる方程式を損失関数に含めた上で，モデルを学習した．これは，一般的には解釈が難しいとされる深層学習モデルに対し，方程式ベースの解釈が与えられることを意味している．このように，ＡとＢのモデルを個別に得た後で関連付けるだけでなく，BにAを事前情報として与えたもとで学習を行うという別のアプローチに基づく成果も得られたため，概ね順調に進んでいると言える．
|
| Strategy for Future Research Activity |
2022年度の研究を通じて，深層学習モデルに対する事前情報として微分方程式を導入する際に，代数的可観測性解析が有効であることを示すことができた．このような，データ駆動型モデリングにおける代数の応用については，今後も展開していく予定である．また，状態空間モデルのスパース推定に関する代数的アプローチ等については，具体的な脳科学，システム生物学等の具体的な応用を考慮しつつ，研究を進めていきたい．2022年度に得られた成果については，対外発表や論文執筆等の機会を通して，取りまとめを行う予定である．なお，2023年度は，Ecole polytechniqueのMax teamの微分代数・計算代数の専門家との共同研究を予定している．本研究を通して見出された課題は，当該研究者らへの新しい問題提起となっていると考えられる．そのため，これらを共有し，国際的に研究を展開していくことが望ましいと考えられる．
当初は，代数的アプローチを中心とした研究項目が多かったが，科学的知見の抽出に関する具体的な応用を検討するにつれ，それ以外のアプローチを中心として，代数を補助的に用いる方が望ましい場合もあることが分かりつつある．例えば，未知パラメータをもつ状態空間モデルを代数的に解析することで，現象に関する知見を得ることは一つの方法であるが，そのモデルをあえて構造方程式等に帰着させることで，解釈性や因果を考慮した柔軟なモデリングの可能性が考えられる．また，このように，解析対象が増えることは，代数の応用という観点においても好ましい．以上のことから，2023年度は，代数的解析だけにとらわれず，統計的手法や機械学習などを積極的に取り入れながら，研究を進める予定である．
|
| Causes of Carryover |
2022年度は着任初年度であり，研究代表者が指導する修士以上の学生がおらず，リサーチアシスタントとしての雇用が難しかった．2023年度は，修士の学生を複数雇用することができるため，次年度使用額を執行することが可能だと考えられる．また，2023年度は，Ecole Polytechniqueや近隣研究期間への出張を予定している点や，執筆が間に合わなかった論文の執筆などにも取り組むため，2022年度と比較すると必要な経費が増加すると予想される．
|
| Remarks |
2023年度，共同研究を行うための事前打ち合わせ等をメールベースで行った．
|
Research Products
(4 results)
