2021 Fiscal Year Research-status Report
Koopman作用素を用いたニューラルネットワークの構築とその応用
| Project/Area Number |
21K12045
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
大久保 潤 埼玉大学, 理工学研究科, 准教授 (70451888)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | 機械学習 / ニューラルネットワーク / 確率微分方程式 / 双対過程 |
|---|
| Outline of Annual Research Achievements |
通常、機械学習においてはデータが大量に必要となる。本研究の目的は、方程式がわかっている場合に、データを利用せずに直接的にニューラルネットワークを構築することである。これにより、例えばパラメータなどに不確実性がある方程式に対してまずはニューラルネットワークを構築し、その後、少量のデータを用いて微調整をする、といったことが可能となる。
本年度は、ニューラルネットワーク周りの基礎的な検討と、方程式からの素朴な学習方法の検討を実施した。深層学習で利用されているResNetと呼ばれる構造を連続的に拡張したODEネットワークというものがある。これは常微分方程式で書かれた部分を有しており、本研究で視野に入れている方程式系との相性が良いことが期待される。本年度はODEネットワークの性能と、常微分方程式で書かれた部分の複雑さとの対応を調査した。結果として、主成分分析を利用した複雑さの解析と性能とに相関があることが判明した。この成果は、想定する方程式の複雑さとニューラルネットワークの複雑さとを結びつけるための一つの知見となることが期待される。次に、今後の研究の基本となる「データを用いずに方程式からニューラルネットワークを構築する」方法を検討した。双対過程と呼ばれる手法で確率微分方程式の統計量を求める際、統計量をテイラー展開した形で表現できるようになる。そこでニューラルネットワークも入力変数に対してテイラー展開し、それらの係数を比較することで、データを利用せずにニューラルネットワークを構築した。結果として、データから学習する場合と比べ、原点付近の性能を良くすることができるなどの特徴があることも明らかとなった。また、双対過程とKoopman行列との対応関係の議論を実施し、数値計算手法を改良することができた。これは今後、データとの接続を考える上で重要なツールとなる（論文投稿中）。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り、研究の基本的な手法となる「データを用いずに方程式からニューラルネットワークを構築する」ことに成功した。現時点では非線形最適化問題を解く必要があり、構築時間がかかる点に問題が残っているが、初年度に実際にニューラルネットワークを構築できることを示せた意義は大きい。構築した際の特徴がデータから学習した場合と異なることも判明したため、これらの特徴を活かしながら、今後、計画通りに手法を改良および応用へと進めていく。
|
| Strategy for Future Research Activity |
本年度構築した手法の非線形最適化の部分の高速化などを引き続き検討する。また、現在は双対性を利用して構築をしているが、双対性とKoopman作用素との関係性も見えつつある。Koopman作用素を利用することで、データに基づいて観測量の時間発展を行える。よって、データからのKoopman作用素（行列）の構築と双対性のアプローチとの関係を見ていくことにより、本年度構築した手法とは別の形でニューラルネットワークを構築できるようになる可能性もある。この方向性も検討していく。
|
