入力点に依存した汎化能力推定法に関する研究

• 研究課題/領域番号: 17700142
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 知能情報学
• 研究機関: 東京工業大学
• 研究代表者: 杉山 将 東京工業大学, 大学院・情報通工学研究科, 准教授 (90334515)
• 研究期間 (年度): 2005 – 2007
• 研究課題ステータス: 完了 (2007年度)
• 配分額: 3,500千円 (直接経費: 3,500千円); 2007年度: 1,000千円 (直接経費: 1,000千円); 2006年度: 1,000千円 (直接経費: 1,000千円); 2005年度: 1,500千円 (直接経費: 1,500千円)
• キーワード: 機械学習 / 関数近似 / 教師付き学習 / 共変量シフト / 汎化誤差 / 交差確認法 / ベイズ推定 / ブレインコンピュータインターフェース / 汎化能力 / モデル選択 / 不偏性 / 入力点依存 / 準教師付き学習 / ラベル無しデータ

研究概要

本年度は,共変量シフトの場面での汎化能力推定に焦点を合せ,汎化誤差の理論解析,実用的な汎化誤差推定法の開発,およびその応用研究を行なった.汎化誤差の理論解析に関しては,ベイズ推定と呼ばれる学習法の汎化誤差を対象に,古典的な解析法では対応できなかった特異モデルをも含む一般的な設定での汎化誤差解析を行なった.実用的な汎化誤差の推定法に関しては,標準的な汎化誤差推定法である交差確認法を拡張し,共変量シフトに対応できるようにした.これにより,出力が実数値をとる回帰問題だけでなく,出力が離散的なカテゴリである分類問題に対しても,汎化誤差をうまく推定できるようになった.応用研究に関しては,開発した汎化誤差推定アルゴリズムをブレイン・コンピュータインターフェースに応用した.ブレイン・コンピュータインターフェースは脳波でコンピュータを動かす新しいマン・マシンインターフェースであり,近年盛んに研究されている.しかし,脳波の非定常性のため,従来の学習法ではうまく脳波の分類が行なえないという問題があった.今回開発した共変量シフト適応法を用いて,非定常性な脳波データをうまく分類する方法を確立し,その有効性を実証した.

研究成果

• [雑誌論文] Generalization error estimation for non-linear learning methods. (2007)
  • 著者名/発表者名: Sugiyama, M.
  • 雑誌名: IEICE Transactions on Fundamentals of Electronics. Communications and Computer Sciences E90-A ページ: 1496-1499
  • NAID: 110007538081
  • 査読あり
• [雑誌論文] Covariate shift adaptation by importance weighted cross validation. (2007)
  • 著者名/発表者名: Sugiyama, M., Krauledat, M., & Moller, K.-R.
  • 雑誌名: Journal of Machine Learning Research 8 ページ: 985-1005
  • 査読あり
• [雑誌論文] Analytic optimization of adaptive ridge parameters based on regularized subspace information criterion. (2007)
  • 著者名/発表者名: Gokita, S., Sugiyama, M., & Sakurai, K
  • 雑誌名: IEICE Transactions on Fundamentals of Electronic, Communications and Computer Sciences E90-A ページ: 2584-2592
  • NAID: 110007537996
  • 査読あり
• [雑誌論文] A new algorithm of non-Gaussian component analysis with radial kernel functions (2007)
  • 著者名/発表者名: Kawanabe, M., Sugiyama, M., Blanchard, G., Muller, K.-R
  • 雑誌名: Annals of the Institute of Statistical Mathematics vol.59,no.1 ページ: 57-75
• [雑誌論文] 共変量シフト下での教師付き学習 (2006)
  • 著者名/発表者名: 杉山 将
  • 雑誌名: 日本神経回路学会誌 vol.13,no.3 ページ: 111-118
  • NAID: 10018266940
• [雑誌論文] Local Fisher discriminant analysis for supervised dimensionality reduction (2006)
  • 著者名/発表者名: Sugiyama, M.
  • 雑誌名: Proceedings of 23rd International Conference on Machine Learning, Pittsburgh, Pennsylvania, USA, 2006.6.25-29 ページ: 905-912
• [雑誌論文] Obtaining the best linear unbiased estimator of noisy signals by non-Gaussian component analysis (2006)
  • 著者名/発表者名: Sugiyama, M., Kawanabe, M., Blanchard, G., Spokoiny, V., Muller, K.-R
  • 雑誌名: Proceedings of 2006 IEEE International Conference on Acoustics, Speech, and Signal Processing, Toulouse, France, 2006.5.14-19. vol,3 ページ: 608-611
• [雑誌論文] Importance-weighted cross-validation for covariate shift (2006)
  • 著者名/発表者名: Sugiyama, M., Blankertz, B., Krauledat, M., Donehege, G., Muller, K.-R
  • 雑誌名: Pattern Recognition, Lecture Notes in Computer Science vol.4147 ページ: 354-363
• [雑誌論文] Mixture regression for covariate shift (2006)
  • 著者名/発表者名: Storkey, A., Sugiyama, M
  • 雑誌名: Advances in Neural Information Processing Systems 19
• [雑誌論文] Active learning in approximately linear regression based on conditional expectation generalization error. (2006)
  • 著者名/発表者名: Sugiyama, M.
  • 雑誌名: Journal of Machine Learning Research 7.Jan ページ: 141-166
• [雑誌論文] Generalization error estimation under covariate shift. (2005)
  • 著者名/発表者名: Sugiyama, M., Mueller, K.-R.
  • 雑誌名: 第8回情報論的学習理論ワークショップ予稿集 ページ: 21-26
• [雑誌論文] An active learning algorithm for approximately correct models. (2005)
  • 著者名/発表者名: Sugiyama, M.
  • 雑誌名: 第8回情報論的学習理論ワークショップ予稿集 ページ: 57-62
• [雑誌論文] Model selection under covariate shift. (2005)
  • 著者名/発表者名: Sugiyama, M., Mueller, K.-R.
  • 雑誌名: Artificial Neural Networks : Formal Models and Their Applications 3697 ページ: 235-240
• [雑誌論文] 正則化汎化誤差推定量を用いた解析的モデル最適化. (2005)
  • 著者名/発表者名: 櫻井啓介, 杉山 将
  • 雑誌名: 画像の認識・理解シンポジウム2005(MIRU2005)論文集 ページ: 1013-1020
• [雑誌論文] A method of active learning with model selection. (2005)
  • 著者名/発表者名: Hanhijarvi, S., Sugiayama, M.
  • 雑誌名: 電子情報通信学会技術研究報告 NC2005-36 ページ: 37-42
• [学会発表] Direct importance estimation with model selection and its application to covariate shift adaptation. (2007)
  • 著者名/発表者名: Sugiyama, M., Nakajima, S., Kashim a, H., von Bunau, P. & Kawanabe, M.
  • 学会等名: Advances in Neural Information Processing Systems
  • 発表場所: バンクーバー,カナダ
• [学会発表] Asymptotic Bayesian generalization error when training and test distributions are different. (2007)
  • 著者名/発表者名: Yamazaki, K., Kawanabe, M., Watanabe, S. Sugiyama, M, & Muller, K.-R.
  • 学会等名: 24th International Conference on Machine Learning
  • 発表場所: オレゴン,アメリカ
• [学会発表] KuUback-Leibler importance estimation procedure for covariate shift adaptation. (2007)
  • 著者名/発表者名: Sugiyama, M., Nakajima, S., Kashima, H., von Bunau, P.& Kawanabe, M
  • 学会等名: the International Workshop on Data-Mining and Statistical Sciences
  • 発表場所: 東京,日本
• [学会発表] Supervised learning under covariate shift. (2007)
  • 著者名/発表者名: Sugiyama, M.
  • 学会等名: 13th Symposium on Sensing via Image Information,
  • 発表場所: 横浜,日本
• [図書] パターン認識と機械学習:ペイズ理論による統計的予測, (2007)
  • 著者名/発表者名: 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇, (編), 赤穂 昭太郎, 神嶌 敏弘, 杉山 将, 小野田 崇, 池田 和司, 鹿島 久嗣, 賀沢 秀人, 中島 伸一, 竹内 純一, 持橋 大地, 小山 聡, 井手 剛, 篠田 浩一, 山川 宏, (訳)
  • 総ページ数: 350
  • 出版者: シュプリンガー・ジャパン
• [備考]
  • URL: http://sugiyama-www.cs.titech.ac.jp/~sugi/research-jp.html