2021 Fiscal Year Research-status Report
Study on deep neural nets with group theory
| Project/Area Number |
20K03743
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
三内 顕義 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (10610595)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 深層学習 / 群論 / 表現論 / 対称性 / グラフ理論 |
|---|
| Outline of Annual Research Achievements |
本研究計画はZaheerらの定義した対称性を持った深層ニューラルネットの理論を群論、表現論、不変式論の見地から一般化、精密化するものであった。一般化の最初のステップとしてSnの自然表現の二階のテンソル作用を考える。これは作用として置換作用の自然な一般化でありながら、 グラフを入力とする関数を考える時に自然に現れる存在でもある。Zaheer の場合もそうであるように、構成のキーとなるのは作用空間の対称代数の不変式論である。またこの不変式環にはグラフ理論的な意味づけを与えることができ、この視点から深層ニューラルネットを構成する。今年度はグラフを入力とする深層ニューラルネットをより一般の有限群に対称性を持った関数として取り扱い、それをうまく近似する対称性を持った深層ニューラルネットを構成することに成功した。具体的な手法としては不変式論で使われるレイノルズ作用素を用いることで通常の深層ニューラルネットを不変・同変性を持った深層ニューラルネットに変換する。さらに変換前の深層ニューラルネットは入力変数を削減することが可能であるという現象も発見した。この結果についてはプレプリントを公開し、国際的なジャーナルへ投稿する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の目標であるuniversal approximation propertyを持つグラフニューラルネットを構成するという事柄はより一般の有限群に対する対称性を持つニューラルネットを構成するという形で達成された。
また道中発見した入力変数の削減もハイパーグラフを入力とする場合に対応する高次テンソルに対する置換群作用として一般化されており、十分な結果が達成されたと考えている。
|
| Strategy for Future Research Activity |
オリジナルのデータ空間に対する対称性に対しては、それがデータ表現の冗長性から来るものである場合については十分に一般性を持ったモデルを構築することができた。
今後の研究としてはオリジナルのデータ表現には含まれていない対称性にアクセスし、その対称性を用いたモデルを構築しようと考えている。
|
| Causes of Carryover |
感染症による影響で、思うように出張などができなかったため繰越金が発生した。
国際的には状況も良くなっているため来年度は多く出張する予定である。
|
