2019 Fiscal Year Research-status Report
Geometric Mechanics of Neural Networks
| Project/Area Number |
19K03635
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
後藤 振一郎 統計数理研究所, 統計的機械学習研究センター, 特任准教授 (60749282)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 幾何学的力学系理論 / ニューラルネット / 微分幾何学 / 力学系理論 / 統計力学 / マスター方程式 / 離散幾何学 / ヘッセ幾何学 |
|---|
| Outline of Annual Research Achievements |
研究課題「ニューラルネットワークに対する幾何学的力学系理論」の研究を日本学術振興会 基盤C(一般)の協力を得て行った。ニューラルネットワークは機械学習や脳の数理的研究で重要であるが、幾何学的力学系理論適用の視点が抜けている。発達した幾何学的手法の導入により、ニューラルネットワークの理解も進むと期待できる。
まず(1)「ニューラルネットワークのヘッセ幾何学的記述法の開発」の研究を実施した。当該年度ではまず、ニューラルネットのあるクラスに制限し力学系的手法と幾何学的手法の双方で解析できる場合に対象を絞った。そして、ニューラルネットワークの主要な機能を果たしていると考えられる活性化関数を凸関数の微分と等値した。それにより凸関数を中心とする微分幾何学であるヘッセ幾何学を用いて記述した。更に、力学系を特徴付ける量の一つである相空間圧縮率を解析的に計算し、それがリーマン計量から決まるラプラシアンと結びつくことを示した。
また(1)とは別に、しかし数理として関係の深い、(2)「分布関数を記述する力学系に対する幾何学的力学系理論」の研究を行った。この研究はニューラルネットワークのみならず、複雑ネットワークモデルなどの広範な応用先がある。この場合も幾何学的力学系理論適用の視点が抜けているため、その視座を与えるべく研究を行った。本研究では具体的には非平衡統計力学で知られているマスター方程式と呼ばれるクラスの力学系の幾何学的理論の構築を行った。マスター方程式の可解な場合を対象に、接触幾何学を用いた記述法を開発した。更に一般のマスター方程式に対し、状態をグラフ理論の言葉で書き直し、離散幾何学と呼ばれる手法を適用できることを示した。特に詳細釣り合いの条件が満たされる場合は、離散拡散方程式とマスター方程式は等価であることを示した。
上記の成果を幾つかの研究集会やセミナーで発表し、論文を投稿した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1)ニューラルネットワークのヘッセ幾何学的記述の研究は、おおよそ当初の計画通りに実施できた。ただ、もっと積極的に発達した幾何学的手法を用いた理論の構築ができるだろう。次年度以降の課題としたい。(2)分布関数に対する幾何学的力学系理論の構築は当初の研究計画になかったものの、本年度中に研究動向を調査している間に気が付き、研究を遂行できた。科研費研究課題の趣旨に沿うものであり、来年度以降も継続する予定である。
全体として研究はおおむね順調に進展しているといってよい。
|
| Strategy for Future Research Activity |
ヘッセ幾何学のみならず、接触幾何学の手法を取り入れて研究を進める予定である。日本国外を中心に、接触幾何学の手法は熱力学系の研究で使われており、凸関数を使った理論が存在する。本研究の対象となるニューラルネットワークにおいて、活性化関数は凸関数の微分で記述できるので、接触幾何学でのアプローチも有用になるはずである。また、離散幾何学を用いたマスター方程式への適用が２０１９年度になされたが、まだ新しく様々な拡張が期待できると考えている。
|
| Causes of Carryover |
２０２０年３月初めに開催される研究会に参加予定であったが、新型コロナウイルスの蔓延防止のため研究会自体が延期となった。当初この研究会参加のための旅費として使用する予定であったが未使用となった。この未使用金は、延期となった研究会もしくはそれに相当する研究会への参加のための旅費としての使用の予定である。更に延長が見込まれる場合には、出版論文のオープンアクセス化等の支払いに充て、科研費の有益な使用を考えている。
|
