2022 Fiscal Year Annual Research Report
| Project/Area Number |
22J21581
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
岡島 光希 東京大学, 理学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2022-04-22 – 2025-03-31
|
| Keywords | レプリカ法 / 平均場近似 / スパース推定 / 圧縮センシング / 高次元統計 / 統計力学 |
|---|
| Outline of Annual Research Achievements |
本研究課題の目標はデータ構造に即したスパース性に注目した推論の統計力学的解析及びアルゴリズム開発である．特に，本年度はレプリカ法と呼ばれる，ランダムに特徴づけられた機械学習や最適化問題の理論解析に用いられる統計力学的手法の適用範囲の拡張を試みた．
一般に，レプリカ法は観測数，説明変数及び真の信号の非零要素の数が全て同じレートで発散する極限において，中心極限定理を適用することで漸近的な理論予測を精密に与えることが知られている．一方，実問題にて現れるデータは観測数によらず低次元の多様体上に分布していると示唆されているように，真の信号の非零要素も観測数に依存せず極少数であると想定する方が現実に即している場合がある．これらの問題設定を既存の統計力学的解析で扱うことは困難である．本年度は，このような極スパース条件下における代表的な推定手法であるL1正則化付き線型回帰を対象として，上記の問題を念頭においた解析を試みた．具体的には，真の信号の少数の非ゼロ成分を個別にミクロな量として扱い，残りの部分についてレプリカ法を用いて平均場的扱いをすることで，L1正則化による特徴量選択の性能などを精密に予測できることがわかった．また，この解析の結果から真の信号の非零要素の位置の推定に対応する，サポート復元のための条件を導くことができた．これらの結果は人工知能及び統計学に関する国際会議 International Conference on Artificial Intelligence and Statistics (AISTATS) にて発表された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は中心極限定理が成立しない場面での統計力学的手法の確立が目的である．その例として極スパース条件下におけるL1正則化付き線形回帰の解析を精密に行うことができ，研究成果を国内学会及び国際会議で発表することができた．また，今回得られた結果の数学的に厳密な証明を行う上である程度の準備を行うことができた．一方，本研究の目的として挙げている行列及びテンソル推定の解析は残っている．よって，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
レプリカ法は簡便かつ強力な解析手法である一方，その手続きの数学的妥当性は示されていないためそれらの結果は一般的に非厳密であることで知られており，今回開発した手法もその例外でない．そのため，初年度の研究の延長として，得られた結果の厳密な証明に向けた研究に取り組む．特に，今回のような凸問題の理論解析でレプリカ法の結果を一部導出できるCGMT(Convex Gaussian minmax theorem)法を用いた導出を検討する．また，現在の解析結果の欠点として，モンテカルロ計算を必要とする場面があるため，余裕があれば計算量を減らす工夫も行いたい．
本研究の目的として挙げているように引き続き行列及びテンソル推定の統計力学的解析及びアルゴリズム開発に取り組む．
|
