2021 Fiscal Year Research-status Report
Geometric Mechanics of Neural Networks
| Project/Area Number |
19K03635
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
後藤 振一郎 中部大学, AI数理データサイエンスセンター, 准教授 (60749282)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 幾何学的力学系理論 / ニューラルネット / 微分幾何学 / 力学系理論 / 統計力学 / 最適化問題 / 接触幾何学 / シンプレクティック幾何学 |
|---|
| Outline of Annual Research Achievements |
研究課題「ニューラルネットワークに対する幾何学的力学系理論」の研究を日本学術振興会 基盤C(一般)の支援を得て行った。ニューラルネットワークは機械学習や脳の数理的研究で重要であり、力学系理論との関連も深い。一般に、力学系に対する理論的アプローチには様々なものがあり、その一つに幾何学的力学系理論と呼ばれる理論体系がある。幾何学的理論は、発達した微分幾何学の手法を力学系理論に持ち込む処方箋を与え、力学系の解析に役立つ。ニューラルネットワークを力学系理論のアプローチで扱う際、今までの研究においては、この幾何学的力学系理論適用の視点が抜けていた。本研究の遂行により、ニューラルネットワークの力学系としての理解、特に微分幾何学を用いた記述法とその応用の進展が期待できる。
(1)昨年度から継続して、本研究課題と密接な関係にある機械学習分野の、特に最適化問題の高速数値解法の設計に関する研究を行った。本研究課題で使う接触幾何学の手法が、最適化問題の加速法に使えることが判明しているためである。そのアイデアを実現するために、接触多様体のシンプレクティック化を用いた加速法の設計を行い、数値実験やその比較などを共同研究者とともに行った。論文を投稿し、論文のレフェリーコメント対応を行なった。
(2)本研究で用いている接触幾何学の手法が、統計物理学での未解決問題であるヒステリシス系の緩和過程の記述に適していことを発見した。その成果をまとめ雑誌へ投稿し、査読対応などを行った。また、本研究で関係の深い力学系理論の研究者が集まる研究集会で講演を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の研究計画の遂行過程で上の「研究実績」で述べた(1)最適化問題の高速数値解法の微分幾何学的視点による研究と、(2)ヒステリシス系の緩和過程の記述に関する研究を行った。これらは当該研究課題である「ニューラルネットワークの幾何学的力学系理論」そのものではないが、以下で述べるように近接する研究領域での研究とみなせる。それらの理由は、
（１）最適化問題の高速数値解法は、ニューラルネットワークをベースにした機械学習器に応用され、現実的な時間で統計的機械学習を実現するのに主要な貢献をしており、また、（２）複雑な物理系や工学的システムではヒステリシスが生じ、その発生機構の解明が望まれることがあり、またヒステリシスをニューラルネットに取り込んだ系を考察する場合があるためである。以上により、これらの研究は当初の研究計画にはなかったものの、ニューラルネットワークに関連する分野で、幾何学的力学系理論での数理的手法を用いたアイデアを提供することができ、かつそのアイデアを実現したといえよう。上述の(1)と(2)での成果をまとめた論文を投稿中であるが、コロナ禍の影響と、当該研究が学際分野であるために論文を理解できる研究者が少ないためか、査読の返事がなかなか得られず、論文の採択には至らなかった。また、上の(1)と(2)の研究の他に、当初の研究を実施したり、本研究課題で得られた成果を増強するための予備的研究をいくつか実施した。論文が採択されていないという意味で、当該年度の進捗は当初の計画よりやや遅れているだろう。
|
| Strategy for Future Research Activity |
研究概要にある(1)と(2)で明記した投稿論文のレフェリーコメントへの対応を引き続き今年度も行う。
そして、これらの研究を更に発展させることができないか模索する。(1)最適化問題の高速数値解法は統計学習分野といった工学で必要とされるのみならず、深い数理が更に発見される可能性があると予想している。従って、今後もこれらとその周辺領域の研究を続ける予定である。当該研究者は最適化問題の知識を吸収しつつ、ニューラルネットやその他で応用される最適化問題の高速解法の探索を行いたい。(2)ヒステリシスを持つ力学系の緩和過程の記述は、他に類を見ない研究で、様々な応用があるだろう。例えば、統計力学の幾何学的記述が情報幾何学によってされるのを鑑みると、昨年度の研究の情報幾何学への応用などが視野に入る。また、本研究提案当初の予定であったニューラルネットモデルへの応用ができないかを検討する。
|
| Causes of Carryover |
昨年度も、新型コロナウイルスが蔓延していたが、収束する可能性もあったため、出張予算の調整が難しく次年度使用予算が生じた。また、昨年度論文を学術雑誌へ投稿し、採択された場合にはオープンアクセスでの出版を予定していた。しかし査読にかなり時間がかかり、未だに審査中で、オープンアクセスのための費用を払わず、予算執行に至らなかった。本年度、現時点で新型コロナ ウイルスの蔓延の程度とその対策がいつまで続くか予想がつかない。出張予算の執行がどの程度実施されるか現時点ではわからないものの、コロナ禍終息後には研究推進のために出張費として予算を使用する。また、コロナ禍の収束が見えなければ、研究遂行に必要な物品費、例えばPCの周辺機器の購入のために科研費を有益に使用する。
|
Research Products
(2 results)
