2020 Fiscal Year Research-status Report

Robust estimation with effective learning

Research Project

Project/Area Number	17K00065
Research Institution	The Institute of Statistical Mathematics
Principal Investigator	藤澤洋徳統計数理研究所, 数理・推論研究系, 教授 (00301177)
Project Period (FY)	2017-04-01 – 2022-03-31
Keywords	ロバスト統計 / 歪正規分布 / EMアルゴリズム / モメンタム構造 / 敵対的汚染 / スパース推定 / 逆確率重み法 / 二重頑健推定
Outline of Annual Research Achievements	歪正規分布に対するEMアルゴリズムとモメンタム構造に関する論文が受理された．モメンタム構造は，最適化や機械学習では収束を加速して計算量を少なくする観点から重要な構造であるが，統計分野では馴染みがないため，査読者に理解してもらうには時間がかかった．歪正規分布という最も代表的な分布に対して，最尤推定を行う最も基本的なEMアルゴリズムにおいて，わずかに工夫することで効率的なパラメータ推定が可能になることは驚くべき成果だった．線形回帰において，敵対的汚染にさらされた場合に，ロバスト推定の収束レートを調べる研究は，この数年，非常にホットな話題である．本研究では，低ランク行列回帰パラメータをもつ線形回帰モデルにおいて，応答変数が敵対的汚染にさらされる場合を考えている．このモデルは通常の線形回帰モデルを含む．本研究の特徴は，重い裾をもつ敵対的汚染を考えていることである．パラメータ推定値を得ることが容易なL1正則化タイプのパラメータ推定法を考えた．この推定法の非漸近的推定誤差を導出した．過去の仮定に比べると，標本複雑度が高めという欠点はあるが，過去に得られている収束レートより早い収束レートを提示している．因果推論で使われる逆確率重み法や二重頑健推定は外れ値に弱いことが知られている．それらに対して，べき密度を利用して，外れ値に強い手法を開発している．べき密度を単純に利用するだけでは，一般的には推定方程式の不偏性が保証されない．そこで幾つかの工夫を加えて，推定方程式の不偏性が保証される手法を考察している．
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason 予定になかった，敵対的汚染や因果推論に関しても，研究を始められた．
Strategy for Future Research Activity	敵対的汚染に関しても因果推論に関しても，研究を始めたばかりであり，今後の発展性は高いと考えている．論文としてまとめて，受理にまでしっかりと進めていきたい．
Causes of Carryover	新型コロナウイルスの流行で，旅費を全く執行できなかった．出張が可能になれば出張を行う予定である．