2023 Fiscal Year Annual Research Report
Study on deep neural nets with group theory
| Project/Area Number |
20K03743
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
三内 顕義 京都大学, 理学研究科, 特定准教授 (10610595)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 群論 / メタ学習 / 対称性 / 構造的因果推論 |
|---|
| Outline of Annual Research Achievements |
本研究計画はZaheerらの定義した対称性を持った深層ニューラルネットの理論を群論、表現論、不変式論の見地から一般化、精密化するものであった。
一般化の最初のステップとしてSnの自然表現の二階のテンソル作用を考える。これは作用として置換作用の自然な一般化でありながら、 グラフを入力とする関数を考える時に自然に現れる存在でもある。Zaheer の場合もそうであるように、構成のキーとなるのは作用空間の対称代数の不変式論である。
またこの不変式環にはグラフ理論的な意味づけを与えることができ、この視点から深層ニューラルネットを構成する。これまでの研究としてはグラフを入力とする深層ニューラルネット
をより一般の有限群に対称性を持った関数として取り扱い、それをうまく近似する対称性を持った深層ニューラルネットを構成することに成功した。具体的な手法としては不変式論で使われるレイノルズ作用素を用いることで通常の深層ニューラルネットを不変・同変性を持った深層ニューラルネットに変換する。さらに変換前の深層ニューラルネットは入力変数を削減することが可能であるという現象も発見した。この結果についてはJMLRに投稿し、掲載された。
|
