Study on deep neural nets with group theory

2022 Fiscal Year Research-status Report

• Project/Area Number: 20K03743
• Research Institution: Institute of Physical and Chemical Research
• Principal Investigator: 三内 顕義 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (10610595)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 対称性 / 深層ニューラルネット / 構造的因果モデル / 不変式論 / メタ学習

Outline of Annual Research Achievements

本研究計画はZaheerらの定義した対称性を持った深層ニューラルネットの理論を群論、表現論、不変式論の見地から一般化、精密化するものであった。一般化の 最初のステップとしてSnの自然表現の二階のテンソル作用を考える。これは作用として置換作用の自然な一般化でありながら、 グラフを入力とする関数を考え る時に自然に現れる存在でもある。Zaheer の場合もそうであるように、構成のキーとなるのは作用空間の対称代数の不変式論である。またこの不変式環にはグ ラフ理論的な意味づけを与えることができ、この視点から深層ニューラルネットを構成する。これまでの研究としてはグラフを入力とする深層ニューラルネットをより一般の有限群に対称性を持った関数として取り扱い、それをうまく近似する対称性を持った深層ニューラルネットを構成することに成功した。具体的な手法としては不変式論で使われるレイノルズ作用素を用いることで通常の深層ニューラルネットを不変・同変性を持った深層ニューラルネットに変換する。さらに変換前の深層ニューラルネットは入力変数を削減することが可能であるという現象も発見した。この結果についてはプレプリントを公開し、国際的なジャーナルへ投稿する予定である。今年度はさらに構造的因果モデルに関するメタ学習の研究を行なった。同じ構造式を持つ構造的因果モデルはある潜在空間上でその因果を対称性として捉えることができ、その対称性を用いることで効率的なメタ学習モデルを構成することができることを示した。これについても国際会議などに投稿予定である。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

今年度は同じ構造式を持つ構造的因果モデルはある潜在空間上でその因果を対称性として捉えることができるという現象を発見した。これは計画段階では意図していなかったものであり、想像を超えたものを発見できたと考えている。

Strategy for Future Research Activity

因果と対称性の関係性、およびその機械学習深めていきたいと考えている。

Causes of Carryover

コロナの状況により使いきれなかった分を次年度に回す計画とした