2020 Fiscal Year Research-status Report
Study on deep neural nets with group theory
| Project/Area Number |
20K03743
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
三内 顕義 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (10610595)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 深層学習 / 群論 / 表現論 / 対称性 / グラフ理論 |
|---|
| Outline of Annual Research Achievements |
今年度はグラフ深層ニューラルネットを一般化した対称深層ニューラルネットに対する理論解析とグラフ同変モデルの設計を行なった。論文として発表した結果は以下の三つである。理研の高井氏、 エコールノルマルのMatthieu氏とともに対称深層ニューラルネットの線形領域の個数に対する新たな不変量とその解析を行い、この結果を国際会議The 24th International Conference on
Artificial Intelligence and Statisticsにて発表した。また東大の河野氏熊谷氏らとメタ学習にリー群に対する対称性を加味したモデル提案を行い、その結果を国際会議Ninth International Conference on Learning Representationsにて発表を行なった。最後に東大の今泉氏、河野氏とともに対称深層ニューラルネットの汎化誤差の不等式を証明した。この結果は国際会議37th Conference on Uncertainty in Artificial Intelligenceに受理され、今後発表予定である。
また、現在進行中のプロジェクトとしてはグラフ作用に対する同変モデルの開発を行った。余因子行列を推測する課題、対角成分を抽出する課題、対称化行列を推測する課題の実験を人工データを用いて行い、先行研究であるMaron et al.の同変モデルに対し、全てのケースについて先行研究の結果を上回った。先行研究ではヒルベルトの有限生成定理を用いてモデル構成が行われていたが、今回はその証明に戻って構成を行なった。これによってMaron et al.には含まれなかった関数クラスが含まれていると思われる。この方向性については今後不変モデルにつなげていく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
今年度は運よく三件国際会議に受理されることができた。またグラフ深層モデルについても新しい着想を得、同変/不変モデルの設計を進行中である。現在できている同変モデルでも現状一番良いとされているモデルを凌駕しているため、今後の発展と完成が楽しみな状況となっている。
|
| Strategy for Future Research Activity |
現在得られている同変モデルは 2-tensorから2-tensorのグラフ作用に対するモデルであり、実験的にうまく行っているが、これを不変モデルに適応するためには出力をhigher tensorに一般化する必要がある。まずはこれを行い、さらに不変層とMLPを付け加えることで不変モデルの構成につなげていく。この構成は普遍近似性を持ってはいるが、より強く、幅をバウンドした形でも普遍近似性を示すためには不変式環に関するある種の性質が必要になる。これを示すためにレイノルズ次元やレイノルズ実現集合という不変量を導入し、解析を進めている。理論と実験の両面からモデルの構成と解析を行なっていく予定である。
|
| Causes of Carryover |
今年度は感染症の影響で出張がほぼ不可能な状況にあり、国際会議などもその全てがオンラインで開催されたため、次年度使用額が発生した。この状況が収まり次第、アクティブに動き、使用していく予定である。
|
