|
今年度は深層ニューラルネットと呼ばれるある種のグラフから導出される関数の研究を代数幾何学的手法を用いて行った。
まず活性化関数にReLU関数を用いた深層ニューラルネットとサンプルから導出される関数（損失関数）が局所的に多項式になることを示した。また他方でそのような局所的な領域に対し、グラフ側も部分グラフが導出される。
この状況下で局所的に存在している多項式の因数分解の様子が、導出される部分グラフの言葉で特徴付けられることを証明した。具体的には局所多項式の素因子と、部分グラフのうちノードを一つしか持たない層で挟まれたものとが一対一に対応することを示した。証明には次数付き可換環環と斉次多項式の理論を用いた。それと同時に損失曲面と呼ばれる集合が半代数的集合になることを示し、その半代数的集合としての区分が微分不可能な点たちで与えられることも証明した。またこれらの事実の応用として深層学習の損失関数からそのサンプルたちがスカラー倍を除いて復元されることも証明した。この結果についてはプレプリントを書き、公表した。
対称群に対して不変、同変な関数に対する普遍近似定理の研究を行った。不変、同変な深層ニューラルネットを定義し、コンパクト集合上にサポートを持つ不変、同変な関数に対してはその深層ニューラルネットで普遍近似定理が成立することを証明した。またこのニューラルネットのパラメーター数が通常のものより指数的に少ないことも証明した。この結果についてもプレプリントを書いて公表した。
多目的最適化のパレート解の集合の研究も行った。パレート解集合が単体上のある種の可換性を持つ多項式関数の族（ベジェ関数）の像で任意精度で近似可能なことを証明した。またそれとともにベジェ関数の可換性をベースにして、パレート解集合を近似するアルゴリズムも提案し、プレプリントを出し、国際会議にて発表も行った。
|
