2023 Fiscal Year Annual Research Report
深層統計モデルによる科学的仮説検証のための非漸近推測理論の開発
| Project/Area Number |
21K11780
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
今泉 允聡 東京大学, 大学院総合文化研究科, 准教授 (90814088)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 高次元統計 / 深層学習 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本年度は主に高次元統計に関する3種類の研究を推進した。
1つ目は、高次元性を持つ比較的シンプルな統計モデルの解析である。量子化された高次元線形モデルの解析では、レプリカ法解析を用いてその汎化誤差を明らかにし、パラメータを量子化する場合の安定相・不安定相の存在を発見した。高次元ランダム行列の解析では、非独立かつ裾の重い分布を持つ行列の経験平均が高次元性に依存しない収束をすることを示した。無限次元データの分類問題では、次元が発散することで完全分離が容易になることを発見した。
2つ目は、深層ニューラルネットワークなどのパラメータの多い統計モデルの解析である。深層ニューラルネットワークの汎化ギャップ解析でれば、エネルギー面と呼ばれる損失関数の局面の形状が予測性能に与える影響を解析し、ある特徴的なパターンを持つニューラルネットワークが汎化ギャップを小さくすることを示した。具体的には、エネルギー面の期待値が局所実効凸性という性質を持つときに、学習アルゴリズムがある母極小値の近傍に滞留し、過学習を抑制する効果があることを示した。敵対的生成ネットワークの解析では、損失関数の設計が学習が不完全な段階においても"距離化可能"という性質を持つときに、安定した学習が実現し性能を向上させることを示した。
3つ目は、高次元統計やそれに基づく柔軟なモデリングを活かした応用研究である。高次元文脈を持つバンディット問題（最適腕選択）問題においては、高次元でも性能が悪化しない統計手法を活用したバンディットアルゴリズムが、高次元な設定でも正しい腕を選択できることを示した。深層ニューラルネットワークの拡張である正規化フローというモデルにおいては、表現できる関数を可逆であることに制約した上の誤差の収束レートを導出し、可逆関数への制約が誤差の収束レートを向上させないことを示した。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Book] 人工知能とどうつきあうか: 哲学から考える2023
Author(s)
鈴木貴之, 柴田崇, 今泉允聡, 大塚淳, 中澤栄輔, 小野哲雄, 植原亮, 立花幸司, 上杉繁, 堀浩一, 関口海良
Total Pages
256
Publisher
勁草書房
-
