2020 Fiscal Year Research-status Report
Geometric Mechanics of Neural Networks
| Project/Area Number |
19K03635
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
後藤 振一郎 統計数理研究所, 統計的機械学習研究センター, 特任准教授 (60749282)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 幾何学的力学系理論 / ニューラルネットワーク / マスター方程式 / 凸最適化理論 / 統計力学 / 情報幾何学 / 接触幾何学 / シンプレクティック幾何学 |
|---|
| Outline of Annual Research Achievements |
研究課題「ニューラルネットワークに対する幾何学的力学系理論」の研究を日本学術振興会 基盤C(一般)の支援を得て行った。ニューラルネットワークは機械学習や脳の数理的研究で重要であり、力学系理論との関連も深い。一般に、力学系に対する理論的アプローチには様々なものがあり、その一つに幾何学的力学系理論と呼ばれる体系がある。幾何学的理論は、発達した微分幾何学の手法を力学系理論に持ち込む処方箋を与え、力学系の解析に役立つ。ニューラルネットワークを力学系理論のアプローチで扱う場合、今までの研究においては、この幾何学的力学系理論適用の視点が抜けていた。本研究の遂行により、ニューラルネットワークの力学系としての理解や、微分幾何学での記述法も深まると期待できる。
（１）昨年度から継続して、本研究課題と密接な関係にある「分布関数を記述する力学系に対する幾何学的力学系理論」の研究を行った。論文としてまとめ、査読審査を経て数理物理学で最も歴史ある雑誌であるアメリカ物理学会発行の雑誌, J.Math.Phys. に掲載された。(2)２０１９年にフランスで開催された統計学や情報学、幾何学を扱った会議であるGeometric Science of Information に私は参加したが、その組織委員から査読付きブックチャプターとしての論文の寄稿を依頼された。統計物理で知られるマスター方程式のあるクラスを接触多様体や統計多様体で記述する方法を示し、ブックチャプターとしての論文を投稿し、受理され、Springer から出版された。(3) 本研究課題で使う接触幾何学の手法が実はニューラルネットワークを用いた機械学習分野の、特に学習過程で使われる加速法の設計に使えることが判明した。そのアイデアを実現するために、接触多様体のシンプレクティック化を用いた加速法の設計を行い、数値実験を行い論文を投稿した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初のニューラルネットワークそのものの幾何学的力学系理論の整備は遅れている。しかし、当初の研究計画遂行課程で次が発見され、注力した。（１）分布関数が従う方程式であるマスター方程式の幾何学的理論の構築ができた。マスター方程式は統計物理学分野で頻繁に用いられる。ニューラルネットワークも統計物理的手法で解析されることを鑑みると、ニューラルネットワークの幾何学的理論にも将来的に寄与するものと期待できる。そのため、本研究としての進捗とみなせる。(2) マスター方程式のある特定のクラスに対して、接触幾何学における記述法を整備した。新規な手法を提案した点で進捗があったといえるが、一般のクラスのマスター方程式に対してのこの試みは成功していないので、その点で不満が残る。(3)ニューラルネットワークなどの機械学習分野で用いられる最適化問題における加速法の構築を行った。加速法は最適化問題やニューラルネットでの学習問題の高速解法を与え、高性能の加速法の微分幾何学を用いた整備は、本研究の広い意味での趣旨に合致しており、予想外の進捗があったといえる。以上の（１）ー（３）をまとめると、これら派生研究は当初の研究予定にはなかったものの、研究提案当初に思い付かなかった新規なアイデアの研究で、良い意味で想定外であったといえる。これらの研究は科研費研究課題の趣旨に沿っており、次年度も継続する。具体的には投稿中論文はその出版に向けて、査読対応などを慎重に行う予定である。また研究提案当初の研究も実施する予定である。以上より、全体とし研究はおおむね順調に進展しているといって良い。
|
| Strategy for Future Research Activity |
本研究課題の研究遂行中に発見された凸最適化問題における加速法の研究を推進、補強する。この研究はニューラルネットに関連する応用や、数理科学の理論としても非常に重要なテーマである機械学習の発展に寄与するはずである。この研究は現在論文投稿中であるが、査読対応や、不採択になった場合には更なる検討を論文に加え、他雑誌等への投稿する。採択された場合は、提案手法の更なる洗練や、一般化などを目指す。具体的研究方策としては、接触幾何学とシンプレクティック幾何学を繋ぐ既存のシンプレクティック化の手法を発展、整備し、本研究の理論部分の基礎とする。その基礎に加え、数値計算分野で知られるシンプレクティック積分法を適用し、新たな幾何学的最適化問題の具体的な数値解法を示す。そして、数値的検証も行い、理論が具体的な問題に対して有効であることも示す。また、当初の研究計画にあるニューラルネットワークの幾何学的力学系理論の構築も引き続き考察を行う。研究計画ではヘッセ幾何学に重点があったが、接触幾何学の視点も大いに取り入れる。こうした研究を介して、本研究の趣旨に添う周辺境界領域での萌芽的研究の種子がないか随時探索する。例えば接触幾何学は熱統計力学を微分幾何学で記述するのに適していることが知られているが、ニューラルネットワークの理論体系へ適用できないかを考察する、などが挙げられる。
|
| Causes of Carryover |
昨年度、新型コロナウイルスが蔓延していたが、収束する可能性もあったため、出張予算の調整が難しく次年度使用予算が生じた。本年度、現時点で新型コロナウイルスの蔓延の程度とその対策がいつまで続くか予想がつかない。出張予算の執行がどの程度実施されるか現時点ではわからないものの、コロナ禍終息後には研究推進のために出張費として予算を使用する。また、コロナ禍の収束が見えなければ、研究遂行に必要な物品費、例えばPCの周辺機器の購入のために科研費を有益に使用する。
|
Research Products
(6 results)
