ブースティング手法による統計的推論に関する理論的研究とその計算機による実装

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14780169
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 金森 敬文 東京工業大学, 大学院・情報理工学研究科, 助手 (60334546)
• Keywords: ブースティング / アンサンブル学習 / 回帰分析 / 判別分析 / ロバスト化

Research Abstract

今年度は主にブースティングの統計的性質について情報幾何学の観点から研究をおこなった.また,アンサンブル学習法をロバスト推定に応用する研究をおこなった.
1.ブースティングの情報幾何学的研究
最もよく応用されているブースティング法であるアダブーストはデータのノイズに対して非常に敏感に反応してしまい,推定が安定しないことが指摘されている.これに対して,ブースティングで用いられる損失関数の性質と推定量のロバスト性の関係を理論的に明らかにし,大きなノイズに対しても安定した推定をおこなうことが可能なブースティング法を提案した.さらに情報幾何学の観点からロバスト化に関する統一的な理論を構築するに至った.この結果は"Information Geometry of U-Boost and Bregman Divergence"において報告されている.
2.回帰問題に対するロバストなアンサンブル学習法の提案
回帰関数のロバストな推定法を提案し,その推定量をアンサンブル学習の枠組で定式化した.提案手法により,複雑で裾の重い雑音が加わっている状況下であっても安定した推定が可能になる.さらに提案手法の統計的な性質を理論的に解析し,従来の方法と比較して精度が非常に良いことを確認した.その結果の一部は"Estimation of conditional mean by the linear combination of quantile regression under heteroscedastic asymmetric errors"において報告されている.

Research Products

• [Publications] Murata, N., Takeuchi, T., Kanamori, T., Eguchi, S.: "Information Geometry of U-Boost and Bregman Divergence"Neural Computation. (出版予定).
• [Publications] 金森敬文, 村田昇: "ブースティングとそのロバスト化"電子情報通信学会誌. 86・10. 769-772 (2003)
• [Publications] Kanamori, T., Shimodaira, H.: "Active Learning algorithm using the maximum weighted log-likelihood estimator"Journal of Statistical Planning and Inference. 116. 149-162 (2003)
• [Publications] Kanamori, T., Takeuchi, I.: "Estimation of conditional mean by the linear combination of quantile regression under heteroscedastic asymmetric"IEICE Technical Report, NC2003-22. 103・227. 43-48 (2003)