Robust estimation with effective learning

• Project/Area Number: 17K00065
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Statistical science
• Research Institution: The Institute of Statistical Mathematics
• Principal Investigator: 藤澤 洋徳 統計数理研究所, 統計基盤数理研究系, 教授 (00301177)
• Project Period (FY): 2017-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2019: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2018: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2017: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
• Keywords: ロバスト統計 / 敵対的汚染 / スパース推定 / 非漸近理論 / 収束レート / 逆確率重み法 / 二重頑健推定 / 歪正規分布 / EMアルゴリズム / モメンタム構造 / 一般化線形回帰モデル / 確率的最適化 / 最尤推定 / ダイバージェンス / スパース・モデリング / 潜在変数モデル / MMアルゴリズム / 学習

Outline of Annual Research Achievements

外れ値などが存在するときに，その汚染によっても推定値がずれにくいパラメータ推定手法として，ロバスト推定がある．データが通常のHuberタイプの汚染よりも強力な，敵対的汚染にさらされた場合に，ロバスト推定の収束レートを調べる研究を進めている．研究の詳細は昨年度に報告しているので省略する．成果を論文にして投稿しているがなかなか採択されていない．理論研究で査読に時間もかかっている．
本年度は，この研究に関連して，特徴量がより緩い裾が重い分布の場合に関して研究を進めた．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

理論研究のため時間が想定よりもかかっている．論文がなかなか採択されない．

Strategy for Future Research Activity

論文を再投稿中である．関連研究も早く完成させたい．

Research Products

• [Int'l Joint Research] Ghent University(ベルギー)
• [Int'l Joint Research] University of Washington(米国)
• [Journal Article] Outlier-Resistant Estimators for Average Treatment Effect in Causal Inference (2024)
  • Author(s): Kazuharu Harada, Hironori Fujisawa
  • Journal Title: Statistica Sinica Volume: 34 Pages: 133-155
  • Peer Reviewed / Open Access
• [Journal Article] Robust regression against heavy heterogeneous contamination (2022)
  • Author(s): Kawashima Takayuki、Fujisawa Hironori
  • Journal Title: Metrika Volume: 86 Issue: 4 Pages: 421-442
  • DOI: 10.1007/s00184-022-00874-1
  • Peer Reviewed / Open Access
• [Journal Article] EM algorithm using overparameterization for the multivariate skew-normal distribution (2021)
  • Author(s): Abe Toshihiro、Fujisawa Hironori、Kawashima Takayuki、Ley Christophe
  • Journal Title: Econometrics and Statistics Volume: 19 Pages: 151-168
  • DOI: 10.1016/j.ecosta.2021.03.003
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Robust and Sparse Regression in Generalized Linear Model by Stochastic Optimization (2019)
  • Author(s): Kawashima, T., Fujisawa, H.
  • Journal Title: Japanese Journal of Statistics and Data Science Volume: 2 Pages: 465-489
  • NAID: 210000170719
  • Peer Reviewed
• [Journal Article] Multivariate skew distributions with mode-invariance through transformation of scale (2019)
  • Author(s): Abe, T., Fujisawa, H.
  • Journal Title: Japanese Journal of Statistics and Data Science Volume: 2 Pages: 529-544
  • NAID: 210000161664
  • Peer Reviewed
• [Journal Article] Sparse principal component regression for generalized linear models (2018)
  • Author(s): S. Kawano, H. Fujisawa, T. Takada, T. Shiroishi
  • Journal Title: Computational Statistics & Data Analysis Volume: 124 Pages: 180-196
  • DOI: 10.1016/j.csda.2018.03.008
  • Peer Reviewed / Open Access
• [Journal Article] A bias-corrected estimator in multiple imputation for missing data (2018)
  • Author(s): Tomita Hiroaki、Fujisawa Hironori、Henmi Masayuki
  • Journal Title: Statistics in Medicine Volume: 37 Issue: 23 Pages: 3373-3386
  • DOI: 10.1002/sim.7833
  • Peer Reviewed
• [Journal Article] Independently Interpretable Lasso: A New Regularizer for Sparse Regression with Uncorrelated Variables (2018)
  • Author(s): Takada, M., Suzuki, T. and Fujisawa, H.
  • Journal Title: Proceedings of the 21st International Conference on Artificial Intelligence and Statistics (AISTATS) 2018 Volume: 84
  • Peer Reviewed / Open Access
• [Journal Article] Robust sparse Gaussian graphical modeling (2017)
  • Author(s): Hirose Kei、Fujisawa Hironori、Sese Jun
  • Journal Title: Journal of Multivariate Analysis Volume: 161 Pages: 172-190
  • DOI: 10.1016/j.jmva.2017.07.012
  • Peer Reviewed / Open Access
• [Journal Article] Robust and Sparse Regression via γ-Divergence (2017)
  • Author(s): Kawashima Takayuki、Fujisawa Hironori
  • Journal Title: Entropy Volume: 19 Issue: 11 Pages: 608-608
  • DOI: 10.3390/e19110608
  • Peer Reviewed / Open Access
• [Presentation] 平均因果効果の外れ値にも頑健な二重頑健推定量 (2022)
  • Author(s): 原田和治, 藤澤洋徳
  • Organizer: 日本計量生物学会年会
• [Presentation] 外れ値に頑健な因果効果の推定量 (2022)
  • Author(s): 原田和治, 藤澤洋徳
  • Organizer: 大規模複雑データの理論と方法論の革新的展開
  • Invited
• [Presentation] 外れ値に頑健な二重ロバスト推定 (2021)
  • Author(s): 原田和治, 藤澤洋徳
  • Organizer: 統計関連学会連合大会
• [Presentation] 敵対的攻撃に対して頑強な線型回帰 (2021)
  • Author(s): 笹井健行, 藤澤洋徳
  • Organizer: 統計関連学会連合大会
• [Presentation] 多変量歪正規分布における最尤推定のためのEMアルゴリズムとそのモメンタム構造, 統計関連学会連合大会 (2020)
  • Author(s): 阿部俊弘, 藤澤洋徳, 川島孝行
  • Organizer: 統計関連学会連合大会
• [Presentation] ロバストな推定を導くダイバージェンス (2020)
  • Author(s): 藤澤洋徳
  • Organizer: 第41回IBISML研究会
  • Invited
• [Presentation] A closed form EM algorithm for a multivariate skew-normal model (2019)
  • Author(s): 阿部俊弘, 藤澤洋徳, 川島孝行
  • Organizer: 研究集会「多様な分野における統計科学に関する諸問題」
  • Invited
• [Presentation] EM algorithm using overparametrization for skew-normal distribution (2019)
  • Author(s): Abe, T., Fujisawa, H., Kawashima, T.
  • Organizer: Statistical Topological Data Analysis Workshop
  • Invited
• [Presentation] Stochastic Gradient Descent for Doubly Nonconvex Composite Optimization (2019)
  • Author(s): Kawashima, T. and Fujisawa, H.
  • Organizer: ISI-ISM-ISSAS Joint Conference
• [Presentation] Robust and sparse Gaussian graphical modelling under cell-wise contamination (2018)
  • Author(s): Katayama, S., Fujisawa, H. and Drton, M.
  • Organizer: 統計関連学会連合大会
  • Invited
• [Presentation] ROBUST AND SPARSE REGRESSION IN GENERALIZED LINEAR MODEL BY STOCHASTIC OPTIMIZATION (2018)
  • Author(s): Kawashima, T. and Fujisawa, H.
  • Organizer: IMS Asia Pacific Rim Meeting
• [Presentation] ON DIFFERENCE BETWEEN TWO TYPES OF GAMMA‐DIVERGENCE IN ROBUST REGRESSION MODELING (2018)
  • Author(s): Fujisawa, H. and Kawashima, T.
  • Organizer: IMS Asia Pacific Rim Meeting
  • Invited
• [Presentation] 相関情報を罰則項に導入したスパース・モデリング (2018)
  • Author(s): 高田正彬, 鈴木大慈, 藤澤洋徳
  • Organizer: 漸近理論・角度または時系列のための統計解析に関する様々な研究
  • Invited
• [Presentation] 外れ値が多い場合でもバイアスの小さいロバスト推定 (2018)
  • Author(s): 藤澤 洋徳
  • Organizer: 慶應義塾大学 計量経済学ワークショップ
  • Invited
• [Presentation] 非凸な目的関数に対する確率的最適化 (2018)
  • Author(s): 川島孝行, 藤澤洋徳
  • Organizer: 統計関連学会連合大会
• [Presentation] Sparse Modeling with Uncorrelated Variables (2018)
  • Author(s): Takada, M., Suzuki, T. and Fujisawa, H.
  • Organizer: 統計関連学会連合大会
• [Presentation] Independently Interpretable Lasso: A New Regularizer for Sparse Regression with Uncorrelated Variables (2018)
  • Author(s): Takada, M., Suzuki, T. and Fujisawa, H.
  • Organizer: The 21st International Conference on Artificial Intelligence and Statistics
• [Presentation] 確率的勾配降下法の収束性について (2018)
  • Author(s): 川島孝行, 藤澤洋徳
  • Organizer: 情報論的学習理論ワークショップ
• [Presentation] 統計科学と機械学習の違いについて (2018)
  • Author(s): 藤澤洋徳
  • Organizer: 日本アクチュアリー会例会
  • Invited
• [Presentation] ガンマ・ダイバージェンスに基づくロバストかつスパースな一般化線形回帰 (2017)
  • Author(s): 川島孝行, 藤澤洋徳
  • Organizer: 統計関連学会連合大会
• [Presentation] Robust and Sparse Online GLM (2017)
  • Author(s): 川島孝行, 藤澤洋徳
  • Organizer: 情報論的学習理論ワークショップ
• [Presentation] 一般化線形回帰のロバスト化およびスパース化 (2017)
  • Author(s): 川島孝行, 藤澤洋徳
  • Organizer: 統計学, 機械学習の数理とその応用
• [Presentation] IILasso：相関情報を罰則項に導入したスパースモデリング (2017)
  • Author(s): 高田正彬, 鈴木大慈, 藤澤洋徳
  • Organizer: 情報論的学習理論ワークショップ
• [Presentation] Principal component regression for generalized linear models via L1-type regularization (2017)
  • Author(s): Kawano, S., Fujisawa, H., Takada, T. and Shiroishi, T
  • Organizer: 10th International Conference of the ERCIM WG on Computational and Methodological Statistics
  • Int'l Joint Research
• [Book] 新版医学統計学ハンドブック (2018)
  • Author(s): 丹後俊郎・松井茂之編
  • Total Pages: 868
  • Publisher: 朝倉書店
  • ISBN: 9784254122299
• [Book] 統計科学百科事典 (2018)
  • Author(s): Miodrag Lovric (Ed.)
  • Total Pages: 2130
  • Publisher: 丸善出版
  • ISBN: 9784621303108
• [Book] ロバスト統計 (2017)
  • Author(s): 藤澤 洋徳
  • Total Pages: 176
  • Publisher: 近代科学社
  • ISBN: 9784764905429