ブースティング手法による統計的推論に関する理論的研究とその計算機による実装

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14780169
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 金森 敬文 東京工業大学, 大学院・情報理工学研究科, 助手 (60334546)
• Keywords: ブースティング / アンサンブル学習 / 回帰分析 / 判別分析 / ロバスト化

Research Abstract

今年度は主にブースティングについて統計的な観点から研究をおこない,以下の結果を得た.
1.ブーステイングの非線型回帰問題への応用
ブースティングは判別問題に対して提案された統計手法である.非線型回帰問題に対してブースティングのような逐次的な推定量を構成することで,計算の効率を上げて推定精度を高めることが本年度の目標の一つであった.これに対して,ノイズの分布を混合分布によって近似しながら,回帰関数の推定量を更新していくアルゴリズムを提案し,その有効性を数値的に確かめた.その結果は研究発表のArtificial Neural Networks ICANN2002に公表されている.
2.ブースティングのロバスト化
最もよく応用されているブースティング法であるアダブーストはデータのノイズに対して非常に敏感に反応してしまい,推定が安定しないことが指摘されている.これに対して,ブースティングで用いられる損失関数の性質と推定量のロバスト性の関係を理論的に明らかにし,大きなノイズに対しても安定した推定をおこなうことが可能なブースティング法を提案した.その結果の一部は研究発表の「ブースティングとそのロバスト化」において解説されている.
3.回帰問題に対するロバストなアンサンブル学習法の提案
回帰関数のロバストな推定法を提案し,その推定量をアンサンブル学習の枠組で定式化した.提案手法により,複雑で裾の重い雑音が加わっている状況下であっても安定した推定が可能になる.さらに提案手法の統計的な性質を理論的に解析し,従来の方法と比較して精度が非常に良いことを確認した.その結果の一部は研究発表の"Robust Regression with Asymmetric Heavy-Tail Noise Distributions"で解説されている.

Research Products

• [Publications] Kanamori, T.: "Statistical Asymptotic Theory of Active Learning"Annals of the Institute of Statistical Mathematics. 54. 459-475 (2002)
• [Publications] Takeuchi, I., Bengio, Y., Kanamori T.: "Robust Regression with Asymmetric Heavy-Tail Nose Distributions"Neural Computation. 14. 2469-2496 (2002)
• [Publications] 金森敬文, 村田昇: "ブースティングとそのロバスト化"電子情報通信学会誌. (出版予定).
• [Publications] Kanamori, T., Shimodaira, H.: "Active Learning algorithm using the maximum weighted log-likelihood estimator"Journal of Statistical Planning and Inference. (出版予定).
• [Publications] Jose R.Dorronsoro (ED.): "Artificial Neural Networks ICANN2002"Springer. 1382 (2002)