| 研究課題/領域番号 |
21K11780
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60030:統計科学関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
今泉 允聡 東京大学, 大学院総合文化研究科, 准教授 (90814088)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2022年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2021年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
|
|---|
| キーワード | 深層学習 / 統計学 / 統計的推論 / 深層モデル / 過剰パラメータ / 汎化誤差 / ガウス近似 |
|---|
| 研究開始時の研究の概要 |
近年強い注目を浴びるデータ解析法である深層学習は、物理法則や分子構造の探索や再現といったサイエンスの領域での使用も盛んである。しかし、仮説検定や信頼解析などの統計的推論法を深層学習に用いることは難しく、科学的仮説の厳密な検証法は十分には進展していない。これは、深層・大規模モデルでは適切な極限分布が使えないなど、複数の統計学的障害に由来する。本研究では、高次元ガウス近似などの非漸近な分布近似法を用いることでその障害を克服し、深層学習に適用可能な統計的推論の基盤を構築する。深層学習を用いた科学的仮説の検証・確定を可能にし、深層・大規模モデルによる統計的推論という新しい領域を開拓する。
|
| 研究実績の概要 |
本研究計画の目的は、深層ニューラルネットワークなどの多層構造や大自由度を持つ統計的モデルに対して、データに依存する不確実性を評価し、推定・予測の誤差を評価したり統計的推論の手法を構成することである。具体的には、ニューラルネットワークの関数表現能力を解析するとともに、データや学習アルゴリズムが持つランダムさ（不確実性）が推定や予測に与える影響を解析する。
本年の研究実績は、主に二つに分けられる。一つは層が浅いが非常に多いパラメータを持つモデル（ニューラルネットワーク含む）に対する推定・推論性能の導出、もう一つは層が多いニューラルネットワークに対する推定性能の導出、の2点である。
一つ目の層が浅いがパラメータが多いモデルについて、複数の応用的な設定において、学習によって得られるモデルの推定誤差や推論のための漸近分布をおこなった。具体的には、従属性を保つデータのための線形モデル、因果推論に用いられるモーメント制約や内生性を持つモデル、関数データなどの無限次元性を持つモデル、最適輸送を用いた統計モデルのような二重の最適化問題で定義される関数モデルについて、その推定誤差や漸近分布を導出した。これらの応用的研究は、近年発展している過剰パラメータ理論などをより幅広い統計モデルで使えることを示すものである。これらの研究はいくつかの学術雑誌に採択され、またいくつかは査読中である。
二つ目の層が多いモデルについては、損失関数の形状に基づく予測誤差（汎化誤差）の特徴付けをおこなった。具体的には、非凸な期待損失関数が局所最適解の近傍で良い性質を持っているときに、学習アルゴリズムがその解の近傍に滞留しかつ良い予測性能を持つことを示した。これは、層の数やパラメータが大きいときにもそれらの影響が予測誤差に直接は影響しないことを示している。この研究は権威ある学術雑誌に採択された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究計画は、まず層の浅いモデルで推定や推論を行うという目的については、想定以上に順調に進展していると考えられる。共同研究者や研究室の学生との連携が円滑に進行していることもあり、複数のプロジェクトで既存理論を拡張・応用する研究が進展しており、複数の学会発表や論文公開が実践できている。またそれらのプロジェクトを経ることで、研究室としても知識の蓄積や研究体制の整備を進められている。この体制は来年以降も継続できる見込みである。
層の多いモデルの推定・推論については、問題が高度に非自明になるため可視化できる成果はそれほど多くないが、それでも複数の研究方針が確立され、水面化で順調に議論や証明などが進行している。詳細は次項目の「今後の研究の推進方策」に述べるが、層の多いモデルを解析するための理論を複数開発しており、こちらも順調に進展していると考えられる。
|
| 今後の研究の推進方策 |
今後の研究課題も、これまで同様以下の二つで進行する。
一つは、層の少なくパラメータの数が非常に多いモデルのための理論の応用・拡張である。近年はこの分野の理論がさらに発展しているため、より幅広い統計モデルや推定方法について、新規性のある理論を導出することが可能である。例えばほぼ無限個のパラメータがある統計モデルのためのベイズ推定・推論や、非線形構造を内部にもつセミパラメトリックな統計モデルのための統計的推論手法の開発である。これらは研究室の学生及び共同研究者を中心に成果が出始めており、年内に論文を公開することが可能である。
もう一つは、層が多いモデルのための統計的な記述と推論手法の開発である。この領域はまだ確立された基礎理論がないため、どのような方針で推論を行うかが自明でなく、一つ目と比べると困難な問題である。これに対して、いくつかのガウス近似法や推論手法が応用できる可能性が明らかになったため、今後はこれらの理論を深層モデルに応用して推論を行う方法を開発する。
|
