| 研究課題/領域番号 |
21K13833
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分12040:応用数学および統計数学関連
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
中山 優吾 京都大学, 情報学研究科, 助教 (40884169)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2023-03-31
|
| 研究課題ステータス |
中途終了 (2022年度)
|
| 配分額 *注記 |
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2025年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2024年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2022年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2021年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
|
|---|
| キーワード | 高次元データ / 機械学習 / 深層学習 / 高次元小標本 / 高次元統計解析 |
|---|
| 研究開始時の研究の概要 |
深層学習は近年爆発的な広がりをみせ、幅広い分野での成功を収めている。しかし、なぜうまくいくのかを理論的に説明する研究はまだまだ少なく、発展途上であり、その理論解明が望まれている。また、深層学習は高次元小標本の設定で精度を保証できていないという現状もあり、解決策が求められている。一方で、深層学習のモデル内には高次元パラメータが含まれており、高次元統計解析により深層学習のダイナミクスを理論的に解明できる可能性がある。本研究では、深層学習の数理を高次元統計解析の立場から解明し、高次元小標本でも解析可能なモデルも開発することで、深層学習の数理的な理解と発展を加速させる。
|
| 研究実績の概要 |
今年度はニューラルネットワークにおける中間層が巨大なネットワークの場合における固有構造について計画を進めた．これは本研究課題の計画における①「部分モデルの数理解析」で達成したかった固有解析にあたり，②「深層学習のダイナミクスの数理解析」について，全結合型ニューラルネットワークの解析につながるものである．先行研究から中間層の次元数を増やすとき，その層の最大固有値は他の固有値と比べて大きく，固有値全体の中で外れ値のような振る舞いを持ち，学習精度に影響を与えることがわかった．研究代表者が行う高次元解析においても，遺伝子発現データの固有値にはスパイク構造として同様の構造が見られ，ニューラルネットワークでの構造との関係性が見つかった．これまでもスパイク構造をモデルに反映することで固有値の理論構築が可能になったことを踏まえ，中間層における固有構造について，同様のモデル上で数値実験と理論研究を進めた．専門家からコメントを得るために，スイスのチューリッヒ大学と研究交流を行い，この観点に関する知見を得た．先行研究では，正規分布として考えているが，研究代表者ではいくつかの緩いモーメント条件から固有解析を解析できている．ただし，非線形関数を施したあとのランダム行列理論が必要となることが判明したため，併せてこの技術に関する調査を進めた．この固有値構造に関連して，高次元データの外れ値とロバストについて学会発表を行った．
|
