• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

ブースティング手法による統計的推論に関する理論的研究とその計算機による実装

Research Project

Project/Area Number 14780169
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Statistical science
Research InstitutionTokyo Institute of Technology

Principal Investigator

金森 敬文  東京工業大学, 大学院・情報理工学研究科, 助手 (60334546)

Project Period (FY) 2002 – 2004
Project Status Completed (Fiscal Year 2004)
Budget Amount *help
¥1,600,000 (Direct Cost: ¥1,600,000)
Fiscal Year 2004: ¥500,000 (Direct Cost: ¥500,000)
Fiscal Year 2003: ¥500,000 (Direct Cost: ¥500,000)
Fiscal Year 2002: ¥600,000 (Direct Cost: ¥600,000)
Keywordsブースティング / アンサンブル学習 / ロバスト統計 / 判別分析 / 多値判別 / 不均一分散 / 回帰分析 / ロバスト化
Research Abstract

今年度はアンサンブル学習のひとつであるブースティングについて,数理統計学や機械学習の観点から研究をおこなった.また,ロバスト統計の手法を応用して,回帰分析に新しいデータ解析法を導入した.以下に概要を述べる.
1.ブーステイングの幾何学構造の解明
性能があまり高くない学習方法を組み合わせて,強力な判別関数を構成する手法であるブースティングについて,情報幾何学的な観点から研究をおこなった.とくに多値判別について,既存手法を大幅に一般化する枠組を提供し,多様なノイズに対処可能な学習方法を提案した。
2.ブースティングのロバスト化と有効性の両立についての研究
ブースティングのロバスト化については,すでに本研究課題により研究がすすめられている.外れ値に対してロバストなだけではなく,さらに予測精度が非常に高いブースティング法を数理統計的な観点から提案し,その性能を理論,データ解析の両面から検証した.その結果,高次元大規模データに対して有効な方法であることが確認された.
3.回帰分析に対する新しいデータ解析法の提案
非常に裾が重く非対称性が高いような極めて複雑なノイズのもとで,安定した推定結果を与える学習方法を提案した.提案方法は単純なアルゴリズムで与えられ,計算効率が非常に良い.また既存方法ではノイズの分布に関する精報が必要であったが,提案手法はノイズに対する詳しい情報が得られない状況であっても,信頼性の高い推定結果が得られることが理論的に示された.さらに保険料推定など実データへの適用によって,提案手法が十分に実用的であることが明らにされた.

Report

(3 results)
  • 2004 Annual Research Report
  • 2003 Annual Research Report
  • 2002 Annual Research Report
  • Research Products

    (15 results)

All 2005 2004 Other

All Journal Article (6 results) Publications (9 results)

  • [Journal Article] Estimators for Conditional Expectations under Asymmetric and Heteroscedastic Error Distribusions2005

    • Author(s)
      Takafumi Kanamori, Ichiro Takeuchi
    • Journal Title

      International Symposium on The Art of Statistical Metaware 21

      Pages: 312-313

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Information Geometry of U-boost and Bregman Divergence2004

    • Author(s)
      Noboru Murata, Takashi Takenouchi, Takafumi Kanamori, Shinto Eguchi
    • Journal Title

      Neural Computation 16・7

      Pages: 1437-1482

    • Related Report
      2004 Annual Research Report
  • [Journal Article] The most robust loss function for boosting2004

    • Author(s)
      Takafumi Kanamori, Takashi Takenouchi, Shinto Eguchi, Noboru Murata
    • Journal Title

      Lecture note in computer science, Neural Information Proccessing 3316

      Pages: 496-501

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Statistical Models for Multi-Class Classification and Integrability of Estimation Equations2004

    • Author(s)
      Takafumi Kanamori
    • Journal Title

      Proceedings of Information-Based Induction Sciences 7

      Pages: 170-177

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Robust Boosting and Loss Functions2004

    • Author(s)
      Takafumi Kanamori, Takashi Takenouchi, Shinto Eguchi, Noboru Murata
    • Journal Title

      IEICE Technical Report 104・225

      Pages: 1-6

    • NAID

      110003232646

    • Related Report
      2004 Annual Research Report
  • [Journal Article] アンサンブル学習の新展開2004

    • Author(s)
      金森 敬文
    • Journal Title

      Learning SICE symposium on Intelligent Systems 31

      Pages: 25-30

    • Related Report
      2004 Annual Research Report
  • [Publications] Murata, N., Takeuchi, T., Kanamori, T., Eguchi, S.: "Information Geometry of U-Boost and Bregman Divergence"Neural Computation. (出版予定).

    • Related Report
      2003 Annual Research Report
  • [Publications] 金森敬文, 村田昇: "ブースティングとそのロバスト化"電子情報通信学会誌. 86・10. 769-772 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] Kanamori, T., Shimodaira, H.: "Active Learning algorithm using the maximum weighted log-likelihood estimator"Journal of Statistical Planning and Inference. 116. 149-162 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] Kanamori, T., Takeuchi, I.: "Estimation of conditional mean by the linear combination of quantile regression under heteroscedastic asymmetric"IEICE Technical Report, NC2003-22. 103・227. 43-48 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] Kanamori, T.: "Statistical Asymptotic Theory of Active Learning"Annals of the Institute of Statistical Mathematics. 54. 459-475 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] Takeuchi, I., Bengio, Y., Kanamori T.: "Robust Regression with Asymmetric Heavy-Tail Nose Distributions"Neural Computation. 14. 2469-2496 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 金森敬文, 村田昇: "ブースティングとそのロバスト化"電子情報通信学会誌. (出版予定).

    • Related Report
      2002 Annual Research Report
  • [Publications] Kanamori, T., Shimodaira, H.: "Active Learning algorithm using the maximum weighted log-likelihood estimator"Journal of Statistical Planning and Inference. (出版予定).

    • Related Report
      2002 Annual Research Report
  • [Publications] Jose R.Dorronsoro (ED.): "Artificial Neural Networks ICANN2002"Springer. 1382 (2002)

    • Related Report
      2002 Annual Research Report

URL: 

Published: 2002-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi