深層学習の数学的原理：高次元統計解析との接点の解明

• Project/Area Number: 21K13833
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 12040:Applied mathematics and statistics-related
• Research Institution: Kyoto University
• Principal Investigator: 中山 優吾 京都大学, 情報学研究科, 助教 (40884169)
• Project Period (FY): 2021-04-01 – 2023-03-31
• Project Status: Discontinued (Fiscal Year 2022)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2025: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2024: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000); Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
• Keywords: 高次元データ / 機械学習 / 深層学習 / 高次元小標本 / 高次元統計解析

Outline of Research at the Start

深層学習は近年爆発的な広がりをみせ、幅広い分野での成功を収めている。しかし、なぜうまくいくのかを理論的に説明する研究はまだまだ少なく、発展途上であり、その理論解明が望まれている。また、深層学習は高次元小標本の設定で精度を保証できていないという現状もあり、解決策が求められている。一方で、深層学習のモデル内には高次元パラメータが含まれており、高次元統計解析により深層学習のダイナミクスを理論的に解明できる可能性がある。本研究では、深層学習の数理を高次元統計解析の立場から解明し、高次元小標本でも解析可能なモデルも開発することで、深層学習の数理的な理解と発展を加速させる。

Outline of Annual Research Achievements

今年度はニューラルネットワークにおける中間層が巨大なネットワークの場合における固有構造について計画を進めた．これは本研究課題の計画における①「部分モデルの数理解析」で達成したかった固有解析にあたり，②「深層学習のダイナミクスの数理解析」について，全結合型ニューラルネットワークの解析につながるものである．先行研究から中間層の次元数を増やすとき，その層の最大固有値は他の固有値と比べて大きく，固有値全体の中で外れ値のような振る舞いを持ち，学習精度に影響を与えることがわかった．研究代表者が行う高次元解析においても，遺伝子発現データの固有値にはスパイク構造として同様の構造が見られ，ニューラルネットワークでの構造との関係性が見つかった．これまでもスパイク構造をモデルに反映することで固有値の理論構築が可能になったことを踏まえ，中間層における固有構造について，同様のモデル上で数値実験と理論研究を進めた．専門家からコメントを得るために，スイスのチューリッヒ大学と研究交流を行い，この観点に関する知見を得た．先行研究では，正規分布として考えているが，研究代表者ではいくつかの緩いモーメント条件から固有解析を解析できている．ただし，非線形関数を施したあとのランダム行列理論が必要となることが判明したため，併せてこの技術に関する調査を進めた．この固有値構造に関連して，高次元データの外れ値とロバストについて学会発表を行った．

Research Products

• [Presentation] 高次元主成分分析における頑健性について (2022)
  • Author(s): 中山優吾, 矢田和善, 青嶋誠
  • Organizer: 日本数学会2022年度秋季総合分科会
• [Presentation] Test for outlier detection by high-dimensional PCA (2022)
  • Author(s): Yugo Nakayama, Kazuyoshi Yata, Makoto Aoshima
  • Organizer: The 5th International Conference on Econometrics and Statistics
  • Int'l Joint Research / Invited