深層学習の数学的原理：高次元統計解析との接点の解明

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K13833
• Research Institution: Kyoto University
• Principal Investigator: 中山 優吾 京都大学, 情報学研究科, 助教 (40884169)
• Project Period (FY): 2021-04-01 – 2026-03-31
• Keywords: 高次元データ / 機械学習 / 深層学習 / 高次元小標本

Outline of Annual Research Achievements

本年度は計画にある部分モデルの数理解析に関して，中間層の次元数の増加と深層学習の関係性について主に調査を進めた．当該分野で知られているいくつかの事実を理解し，高次元統計解析の枠組みで解釈し直した．
ニューラルネットの中間層におけるパラメータが持つ高次元空間は，その次元数を大きくすることで，Neural Tangent Kernel として知られるカーネル関数によって特徴づけされる．この特徴空間を解析するために，次元数の増加によって中間層での固有値にどのような変化が見られるかを数値的に確認した．今後は高次元統計でも考えられる固有値にモデルを応用することで，数理的な側面を明かにする計画である．中間層の次元数を増やすことは二重降下現象とも関連している．この現象に関して高次元統計解析の立場から先行研究の理論結果を評価し直した．高次元統計解析で見られるデータには高次元かつ小標本という特徴がある．例えば，モデルTransformerについて，標本数が多いときよりも少ないときの方が，損失関数は小さくなることがある現象も観測されている．この現象に対する理論的な解釈も高次元小標本データで必要になるため，損失関数について標本数の観点からの調査を進めた．今後はこの原因を解明し，過適合の軽減を進めていく．
ニューラルネットの中間表現の利用した既存手法への応用についても調査を進めた．判別分析のタスクにおいて，元の低次元データをニューラルネットによって高次元データに変換し，そのデータに対して高次元統計解析で使われる判別関数を用いることでどのような結果が得られるかを検証した．その結果，次元数を増加させることである規則性が数値的に観測することができた．

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

数値的な実験は比較的小規模であり，本来であれば現在よりも大きなネットワーク上で実行すべきであったため．理論的結果の調査も周辺分野の体系な理解まで達成できていなかった．これらの状況から学会発表や論文投稿に至ることができていないため．

Strategy for Future Research Activity

当初はNeural Tangent Kernel や二重降下現象との関連は計画に入っていなかったが，高次元統計解析におけるこれらの重要性から今後は研究計画にこの2点も追加して調査していく．その準備のためにもカーネル法と固有解析についても調査する．本年度は文献調査が不十分だと思われるので，国際学会への出席や口頭発表における意見交換を積極的に進める．

Causes of Carryover

本年度にスイスのチューリッヒ大学における共同研究を計画していたが，本年度は中止となったため次年度に実行するための旅費として使用する計画である．
主な予算を物品費と旅費で計上したが，物品費は大規模なネットワークを実装可能なPC・サーバーの導入，旅費は国際学会への参加のためだった．実際は先行研究の調査が不十分であり，大規模なネットワークでの実装まで踏み込めなかった．次年度では本年度で実装すべきであった計算に耐えうるPCを導入する．旅費についても国際学会の参加や国内でも研究打ち合わせに使用していく計画である．