アンサンブル学習による新たなアルゴリズムと情報論的解析による洗練,及びその応用

• 研究課題/領域番号: 19700264
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 統計科学
• 研究機関: 奈良先端科学技術大学院大学
• 研究代表者: 竹之内 高志 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (50403340)
• 研究期間 (年度): 2007 – 2008
• 研究課題ステータス: 完了 (2008年度)
• 配分額: 2,890千円 (直接経費: 2,500千円、間接経費: 390千円); 2008年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円); 2007年度: 1,200千円 (直接経費: 1,200千円)
• キーワード: 分類 / パターン認識 / ブースティング / 集団学習 / 多値判別 / 誤り訂正符号 / 局所化尤度 / ロバスト

研究概要

本研究では近年注目を集めている2種類のアンサンブル学習,ブースティングとECOCに基づく多値判別に関する研究を行った.
(1)ブースティングに関しては統計的考察に基づく最もロバストなロス関数の考案とミスラベルを考慮した多値判別アルゴリズムを提案し,アルゴリズムの収束性などに関する考察を行った.パターン識別問題においては例題に外れ値などが含まれることが多く,このような状況に対してロバストなアルゴリズムは有効に働く.
(2)ECOCに基づく多値判別問題に関しては,確率モデルを用いて複数の2値判別器を組み合わせて多値判別器(デコーダー)を構成するための枠組みを提案した.提案した枠組みにおいては各2値判別器同士の相関関係を考慮してデコーダーを構成する事ができる.また提案手法では確率モデルをベースとして推定を行っており,対象とするデータに対して適応的にデコーダーを構成することができる.確率モデルをベースとしたことで,従来の手法に用いられている様々な拡張や正則化を容易に適用出来ることが提案手法の利点であり,提案手法は従来の最新の多値判別手法を優越する性能を示す事がわかった.

研究成果

• [雑誌論文] A multi-class classification method based on decoding of binary classifiers (2009)
  • 著者名/発表者名: T. Takenouchi, and S. ishii.
  • 雑誌名: Neural Computation, in press 21:7(未決定)
  • 査読あり
• [雑誌論文] Collaborative prediction by multiple Bayesian networks and its application to printer usage modeling. (2008)
  • 著者名/発表者名: J. Hirayama, M. Nakatomi, T. Takenouchi and S. Ishii
  • 雑誌名: Behaviormetrika 35(2) ページ: 99-114
  • NAID: 110006950237
  • 査読あり
• [雑誌論文] α-Bayesian collaboration of multiple predictors and its applications to hybrid recommendation and user modeling. (2008)
  • 著者名/発表者名: J. Hirayama, M. Nakatomi, T. Takenouchi and S. Ishii
  • 雑誌名: Neural Information Processing Letters and Reviews 12(1-3) ページ: 11-20
  • 査読あり
• [雑誌論文] Robust boosting algorithm against mislabeling in multi-class problems. (2008)
  • 著者名/発表者名: T. Takenouchi, S. Eguchi, N. Murata, and T. Kanamori
  • 雑誌名: Neural Computation 20(16) ページ: 1596-1630
  • 査読あり
• [雑誌論文] A probabilistic modeling of MOSAIC learning (2008)
  • 著者名/発表者名: S. Osaga, J. Hirayama, T. Takenouchi and S. Ishii
  • 雑誌名: Artificial Life and Robotics 12(1-2) ページ: 167-171
  • 査読あり
• [雑誌論文] Combining multiple decisions : applications to bioinformatics. (2008)
  • 著者名/発表者名: N. Yukinawa, T. Takenouchi, S. Oba and S. Ishii
  • 雑誌名: Journal of Physics : Confenrece Series 95 012018 ページ: 13-13
  • 査読あり
• [雑誌論文] Collaborative prediction by multiple Bayesian networks and its applicati on to printer usage modeling (2008)
  • 著者名/発表者名: Hirayama, J
  • 雑誌名: Behaviormetrika 35(2) ページ: 99-114
  • 査読あり
• [雑誌論文] α-Bayesian collaboration of multiple predictors and its applications to hybrid recommendation and user modeling (2008)
  • 著者名/発表者名: Hirayama, J
  • 雑誌名: Neural Information Processing-Letters and Reviews 12(1-3) ページ: 11-20
  • 査読あり
• [雑誌論文] Robust boosting algorithm against mislabeling in multi-class problems (2008)
  • 著者名/発表者名: T. Takenouchi
  • 雑誌名: To appear in Neural Computaion 20(16) ページ: 1596-1630
  • 査読あり
• [雑誌論文] Aprobabilistic modeling of MOSAIC learning< (2008)
  • 著者名/発表者名: S. Osaga
  • 雑誌名: Artificial Life and Robotics 12(1-2) ページ: 167-171
  • 査読あり
• [雑誌論文] Combining multiple decisions: applications to bioinformatics (2008)
  • 著者名/発表者名: N. Yukinawa
  • 雑誌名: Journal of Physics: Conference Series 95 012018 ページ: 1-13
  • 査読あり
• [雑誌論文] Robust Loss Functions for Boosting. (2007)
  • 著者名/発表者名: Kanamori, T., Takenouchi, T., Eguchi, S., and Murata, N.
  • 雑誌名: Neural Computation 19 ページ: 2183-2244
  • 査読あり
• [雑誌論文] Parameter Estimation for von Mises-Fisher distributions. (2007)
  • 著者名/発表者名: Tanabe, A., Fukumizu, K., Oba, S., Takenouchi, T., and Ishii, S.
  • 雑誌名: Computational Statistics 22(1) ページ: 145-157
  • 査読あり
• [雑誌論文] Group AdaBoost: accurate prediction and selection of importantgenes (2007)
  • 著者名/発表者名: T. Takenouchi
  • 雑誌名: IPSJ Transactions on Bioinformatics 48,No.SIG5 ページ: 1-8
  • 査読あり
• [雑誌論文] Robust Loss Functions for Boosting (2007)
  • 著者名/発表者名: T. Kanamori
  • 雑誌名: Neural Computation 19 ページ: 2183-2244
  • 査読あり
• [雑誌論文] Parameter Estimation for von Mises-Fisher Distributions (2007)
  • 著者名/発表者名: A. Tanabe
  • 雑誌名: Computational Statistics 22(1) ページ: 145-157
  • 査読あり
• [雑誌論文] A multi-class classification method based on decoding of binary classifiers.
  • 著者名/発表者名: T. Takenouchi
  • 雑誌名: Neural Comutation (in press)
  • 査読あり
• [学会発表] ECOCに基づく多値判別法とその拡張 (2009)
  • 著者名/発表者名: 竹之内高志
  • 学会等名: 大阪市立大学数学研究所 情報幾何研究集会2009 (OCAMI meeting on "Information Geometry 2009")
  • 発表場所: 大阪市立大
  • 年月日: 2009-01-25
• [学会発表] ECOCに基づく多値判別法とその拡張 (2009)
  • 著者名/発表者名: 竹之内高志
  • 学会等名: 大阪市立大学数学研究所情報幾何研究集会2009(OCAMI meeting on "Information Geometry 2009")
  • 発表場所: 大阪市立大
  • 年月日: 2009-01-25
• [学会発表] Ternary Bradley-Terry model-based decoding for multi-class classification. (2008)
  • 著者名/発表者名: T. Takenouchi
  • 学会等名: IEEE International Workshop on Machine Learning For Signal Processing
  • 発表場所: Cancun, Mexico
  • 年月日: 2008-10-18
• [学会発表] Ternary Bradley-Terry model-based decoding for multi-class classification (2008)
  • 著者名/発表者名: T. Takenouchi
  • 学会等名: IEEE International Workshop on Machine Learning For Signal Processing
  • 発表場所: Cancun, Mexico
  • 年月日: 2008-10-18
• [学会発表] ブースティングによるパターン識別 (2008)
  • 著者名/発表者名: 竹之内高志
  • 学会等名: 日本鉄鋼協会秋季講演大会
  • 発表場所: 熊本大学
  • 年月日: 2008-09-24
• [学会発表] ダイナミクスのベイズ推定に基づくマルチモジュール型適応制御モデル (2008)
  • 著者名/発表者名: 大佐賀智
  • 学会等名: 日本神経回路学会第18回全国大会
  • 発表場所: 産業技術総合研究所
  • 年月日: 2008-09-24
• [学会発表] ECOC復号法に基づく階層的多値判別法 (2008)
  • 著者名/発表者名: 大山賀己
  • 学会等名: ニューロコンピューティング研究会(NC)
  • 発表場所: 玉川大学
  • 年月日: 2008-03-13
• [学会発表] An unified approach to collaborative and feature-based recommendation based on probabilistic latent semantic models. (2008)
  • 著者名/発表者名: A. Ishihara
  • 学会等名: International Symposiumon Artificial Life and Robotics (AROB 13th '08)
  • 発表場所: B-Con Plaza, Beppu, Oita, Japan
  • 年月日: 2008-01-31
• [学会発表] An unified approach to collaborative and feature-based recommendation based on probabilistic latent semantic models. (2008)
  • 著者名/発表者名: A. Ishihara
  • 学会等名: International Symposium on Artificial Life and Robotics (AROB 13th '08)
  • 発表場所: B-Con Plaza, Beppu, Oita, Japan
  • 年月日: 2008-01-30
• [学会発表] アスペクトモデルに基づいた特徴ベース協調フィルタフィング (2008)
  • 著者名/発表者名: 石原愛美
  • 学会等名: 人工知能学会研究会資料
  • 発表場所: 北海道大学
  • 年月日: 2008-01-17
• [学会発表] 1分子蛍光イメージングに対する尤度比検定を用いたアプローチ (2008)
  • 著者名/発表者名: 山下哲矢
  • 学会等名: ニューロコンピューティング研究会(NC)
  • 発表場所: 玉川大学
  • 年月日: 2008-01-15
• [学会発表] A multi-class classification with a probabilistic localized decoder. (2007)
  • 著者名/発表者名: T. Takenouchi
  • 学会等名: IEEE International Symposium on Signal Processing and Information Technology (ISSPIT)
  • 発表場所: Cairo, Egypt
  • 年月日: 2007-12-17
• [学会発表] A multi-class classification with a probabilistic localized decoder (2007)
  • 著者名/発表者名: T. Takenouchi
  • 学会等名: IEEE International Symposium on Signal Processing and Information Technology
  • 発表場所: Cairo, Egypt
  • 年月日: 2007-12-17
• [学会発表] Bayesian collaborative predictors for general user modeling tasks. (2007)
  • 著者名/発表者名: Hirayama, J.
  • 学会等名: International Conference on Neural Information Processing (ICONIP)
  • 発表場所: Kita-Kyuushu, Japan
  • 年月日: 2007-11-16
• [学会発表] Bayesian collaborative predictors for general user modeling tasks (2007)
  • 著者名/発表者名: J. Hirayama
  • 学会等名: International Conference on Neural Information Processing (ICONIP)
  • 発表場所: Kitakyushu,Japan
  • 年月日: 2007-11-16
• [学会発表] Combining multiple decisions : applications to bioinformatics. (2007)
  • 著者名/発表者名: S. Ishii
  • 学会等名: The International Workshop on Statistical-Mechanical Informatics
  • 発表場所: Paruru Plaza, Kyoto, Japan
  • 年月日: 2007-09-18
• [学会発表] Combining multiple decisions: applications to bioinformatics (2007)
  • 著者名/発表者名: S. Ishii
  • 学会等名: The International Workshop on Statistical-Mechanical Informatics
  • 発表場所: Paruru Plaza,Kyoto,Japan
  • 年月日: 2007-09-18
• [学会発表] ECOCに基づく多値判別法の局所化 (2007)
  • 著者名/発表者名: 竹之内高志
  • 学会等名: 2007年度統計関連学会連合大会
  • 発表場所: 神戸大学
  • 年月日: 2007-09-08
• [学会発表] A probabilistic decoding approach to multi-class classification. (2007)
  • 著者名/発表者名: T. Takenouchi
  • 学会等名: Interantional Joint Conference on Neural Networks (IJCNN)
  • 発表場所: Orlando, Florida, USA.
  • 年月日: 2007-08-14
• [学会発表] A probabilistic decoding approach to multi-class classiffcation (2007)
  • 著者名/発表者名: T. Takenouchi
  • 学会等名: Interantional Joint Conference on Neural Networks(IJCNN)
  • 発表場所: Orlando, Florida
  • 年月日: 2007-08-14
• [学会発表] Multiclass classification as a decoding problem. (2007)
  • 著者名/発表者名: T. Takenouchi
  • 学会等名: The First IEEE Symposium on Foundations of Computational Intelligence (FOCI'07)
  • 発表場所: Hawaii, USA.
  • 年月日: 2007-04-04
• [学会発表] Multiclass classification as a decoding problem. (2007)
  • 著者名/発表者名: T. Takenouchi
  • 学会等名: The First IEEE Symposium on Foundationsof Computational Intelligence (FOCI'07),
  • 発表場所: Hawaii, USA
  • 年月日: 2007-04-04
• [学会発表] A probabilistic model of MOSAIC. (2007)
  • 著者名/発表者名: S. Osaga
  • 学会等名: The First IEEE Symposium on Foundations of Computational Intelligence (FOCI'07)
  • 発表場所: Hawaii, USA.
  • 年月日: 2007-04-02
• [学会発表] A probabilistic model of MOSAIC. (2007)
  • 著者名/発表者名: S. Osaga
  • 学会等名: The First IEEE Symposium on Foundations of Computational Intelligence (FOCI'07),
  • 発表場所: Hawaii, USA
  • 年月日: 2007-04-02