2022 Fiscal Year Research-status Report
深層統計モデルによる科学的仮説検証のための非漸近推測理論の開発
| Project/Area Number |
21K11780
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
今泉 允聡 東京大学, 大学院総合文化研究科, 准教授 (90814088)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 統計学 / 統計的推論 |
|---|
| Outline of Annual Research Achievements |
本研究計画の目的は、深層ニューラルネットワークなどの多層構造や大自由度を持つ統計的モデルに対して、データに依存する不確実性を評価し、推定・予測の誤差を評価したり統計的推論の手法を構成することである。具体的には、ニューラルネットワークの関数表現能力を解析するとともに、データや学習アルゴリズムが持つランダムさ（不確実性）が推定や予測に与える影響を解析する。
本年の研究実績は、主に二つに分けられる。一つは層が浅いが非常に多いパラメータを持つモデル（ニューラルネットワーク含む）に対する推定・推論性能の導出、もう一つは層が多いニューラルネットワークに対する推定性能の導出、の2点である。
一つ目の層が浅いがパラメータが多いモデルについて、複数の応用的な設定において、学習によって得られるモデルの推定誤差や推論のための漸近分布をおこなった。具体的には、従属性を保つデータのための線形モデル、因果推論に用いられるモーメント制約や内生性を持つモデル、関数データなどの無限次元性を持つモデル、最適輸送を用いた統計モデルのような二重の最適化問題で定義される関数モデルについて、その推定誤差や漸近分布を導出した。これらの応用的研究は、近年発展している過剰パラメータ理論などをより幅広い統計モデルで使えることを示すものである。これらの研究はいくつかの学術雑誌に採択され、またいくつかは査読中である。
二つ目の層が多いモデルについては、損失関数の形状に基づく予測誤差（汎化誤差）の特徴付けをおこなった。具体的には、非凸な期待損失関数が局所最適解の近傍で良い性質を持っているときに、学習アルゴリズムがその解の近傍に滞留しかつ良い予測性能を持つことを示した。これは、層の数やパラメータが大きいときにもそれらの影響が予測誤差に直接は影響しないことを示している。この研究は権威ある学術雑誌に採択された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究計画は、まず層の浅いモデルで推定や推論を行うという目的については、想定以上に順調に進展していると考えられる。共同研究者や研究室の学生との連携が円滑に進行していることもあり、複数のプロジェクトで既存理論を拡張・応用する研究が進展しており、複数の学会発表や論文公開が実践できている。またそれらのプロジェクトを経ることで、研究室としても知識の蓄積や研究体制の整備を進められている。この体制は来年以降も継続できる見込みである。
層の多いモデルの推定・推論については、問題が高度に非自明になるため可視化できる成果はそれほど多くないが、それでも複数の研究方針が確立され、水面化で順調に議論や証明などが進行している。詳細は次項目の「今後の研究の推進方策」に述べるが、層の多いモデルを解析するための理論を複数開発しており、こちらも順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
今後の研究課題も、これまで同様以下の二つで進行する。
一つは、層の少なくパラメータの数が非常に多いモデルのための理論の応用・拡張である。近年はこの分野の理論がさらに発展しているため、より幅広い統計モデルや推定方法について、新規性のある理論を導出することが可能である。例えばほぼ無限個のパラメータがある統計モデルのためのベイズ推定・推論や、非線形構造を内部にもつセミパラメトリックな統計モデルのための統計的推論手法の開発である。これらは研究室の学生及び共同研究者を中心に成果が出始めており、年内に論文を公開することが可能である。
もう一つは、層が多いモデルのための統計的な記述と推論手法の開発である。この領域はまだ確立された基礎理論がないため、どのような方針で推論を行うかが自明でなく、一つ目と比べると困難な問題である。これに対して、いくつかのガウス近似法や推論手法が応用できる可能性が明らかになったため、今後はこれらの理論を深層モデルに応用して推論を行う方法を開発する。
|
| Causes of Carryover |
購入する物品の金額などの関係で、微細な金額が次年度仕様になった。次年度においては、旅費や物品購入などに用いる。
|
