2022 Fiscal Year Research-status Report

Koopman作用素を用いたニューラルネットワークの構築とその応用

Research Project

Project/Area Number	21K12045
Research Institution	Saitama University
Principal Investigator	大久保潤埼玉大学, 理工学研究科, 教授 (70451888)
Project Period (FY)	2021-04-01 – 2026-03-31
Keywords	機械学習 / ニューラルネットワーク / 確率微分方程式 / 双対過程
Outline of Annual Research Achievements	研究計画２年目となる本年度は主に、データを用いずに方程式からニューラルネットワークを構築する方法について検証を進めた。従来、機械学習においては大量の学習データが必要となるが、方程式の情報を利用することでそのデータ数を減らせる可能性がある。そのために、データを利用せずに直接的に方程式からニューラルネットワークを構築することが本研究課題の目的である。これにより、例えば方程式のパラメータなどに不確実性を有する場合、まずニューラルネットワークを方程式の情報から構築し、その後、少量のデータを用いてニューラルネットワークを学習して微調整する、といった学習方法が可能となる。そのために本年度は、確率微分方程式系を念頭におき、時間発展後の統計量を出力するニューラルネットワークの構築を実施した。具体的には確率微分方程式に対して双対過程を導出し、その双対過程から得られる量とニューラルネットワークの重みとを直接比較する。前年度に実施した研究により、この着想が正しいと見込みがついたため、本年度はこの手法について１変数系、および２変数系の具体例での検証を進めた。その結果として、データから学習する場合と比べ、提案手法の場合には原点付近の性能に著しい向上が見られた。これは、双対過程そのものがテイラー展開に類似した考えに基づいており、その係数を利用して学習をしたためであると考察される。この性質は、注目している領域での学習性能を高めたい場合の応用にも適していると期待される。本成果については英語論文にまとめている最中である。また、前年度に実施した双対過程とKooman行列との対応に関する議論についての英語論文が採択・出版された。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当初の計画通り、「データを用いずに方程式からニューラルネットワークを構築する」方法について、素朴なアイデアではあるが提案することができている。そして、実際にいくつかの具体例で有効に動作することの検証、および学術論文への結果のまとめも進んだ（論文投稿中）。初年度に着手していたアイデアの検証を着実に進められた点は、今後の研究課題の遂行の基礎となるため、意義は大きい。また、前年度実施していた双対過程とKoopman行列との対応関係についての論文も出たことから、これも軸のひとつに据えて、今後の研究を遂行できると期待される。
Strategy for Future Research Activity	これまで構築した手法の高速化について、いくつかのアイデアを検証中である。また、現在用いている素朴な係数比較ではなく、別のアイデアも検討する。具体的には、リッジレット解析と呼ばれる手法の利用を検討する予定である。入力層、中間層、出力層からなる３層のニューラルネットワークにおいて、中間層のノード数を無限大にした極限がリッジレット解析とつながることが先行研究で指摘されている。確率微分方程式に対する適用はまだなされていないが、本研究計画で利用している双対過程を用いることで、リッジレット解析を通じて方程式とニューラルネットワークとが接続する可能性がある。本年度はこの着想が正しいかどうか、基礎的な検証を進める予定である。