研究課題
本年度は主に高次元統計に関する3種類の研究を推進した。1つ目は、高次元性を持つ比較的シンプルな統計モデルの解析である。量子化された高次元線形モデルの解析では、レプリカ法解析を用いてその汎化誤差を明らかにし、パラメータを量子化する場合の安定相・不安定相の存在を発見した。高次元ランダム行列の解析では、非独立かつ裾の重い分布を持つ行列の経験平均が高次元性に依存しない収束をすることを示した。無限次元データの分類問題では、次元が発散することで完全分離が容易になることを発見した。2つ目は、深層ニューラルネットワークなどのパラメータの多い統計モデルの解析である。深層ニューラルネットワークの汎化ギャップ解析でれば、エネルギー面と呼ばれる損失関数の局面の形状が予測性能に与える影響を解析し、ある特徴的なパターンを持つニューラルネットワークが汎化ギャップを小さくすることを示した。具体的には、エネルギー面の期待値が局所実効凸性という性質を持つときに、学習アルゴリズムがある母極小値の近傍に滞留し、過学習を抑制する効果があることを示した。敵対的生成ネットワークの解析では、損失関数の設計が学習が不完全な段階においても"距離化可能"という性質を持つときに、安定した学習が実現し性能を向上させることを示した。3つ目は、高次元統計やそれに基づく柔軟なモデリングを活かした応用研究である。高次元文脈を持つバンディット問題（最適腕選択）問題においては、高次元でも性能が悪化しない統計手法を活用したバンディットアルゴリズムが、高次元な設定でも正しい腕を選択できることを示した。深層ニューラルネットワークの拡張である正規化フローというモデルにおいては、表現できる関数を可逆であることに制約した上の誤差の収束レートを導出し、可逆関数への制約が誤差の収束レートを向上させないことを示した。
すべて 2024 2023 その他
すべて 国際共同研究 (5件) 雑誌論文 (11件) (うち国際共著 3件、 査読あり 5件、 オープンアクセス 11件) 学会発表 (44件) (うち国際学会 13件、 招待講演 27件) 図書 (1件) 備考 (1件)
Electronic Journal of Statistics
巻: 18 ページ: -
10.1214/23-ejs2202
Jxiv
巻: - ページ: -
10.51094/jxiv.616
10.1214/23-ejs2211
10.1214/24-ejs2224
Advances in Neural Information Processing Systems
arXiv
Artificial Intelligence and Statistics
巻: PMLR 206 ページ: -
https://www.u-tokyo.ac.jp/focus/ja/press/z0109_00065.html
