データ横断的機械学習手法の理論と応用

• 研究課題/領域番号: 22700289
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 統計科学
• 研究機関: 東京大学
• 研究代表者: 鈴木 大慈 東京大学, 大学院・情報理工学系研究科, 助教 (60551372)
• 研究期間 (年度): 2010 – 2012
• 研究課題ステータス: 完了 (2012年度)
• 配分額: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円); 2012年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2011年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2010年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
• キーワード: 統計的学習理論 / multiple kernel learning / スパース加法モデル / オンライン最適化 / 双対平均化法 / 近接勾配法 / スパース学習 / 正則化 / 機械学習 / 統計数学

研究概要

MKL(MultipleKernelLearning)はLassoやGroupLassoを含む広いクラスの正則化学習法である.画像認識など様々な応用で用いられている.本研究では,MKLの統計的性質を一般的な枠組みで解明し,どのような正則化を用いれば最適性を有するかについて調べた.また,MKLのベイズ的変種を考察し,それが緩い条件である種の最適性を満たすことを示した.さらに,大量データにおける構造的正則化学習に有用なオンライン型のAlternatingDirectionMultiplierMethodを提案し,その収束に関する理論的な正当性を与えた.

研究成果

• [雑誌論文] Fast learning rate ofmultiple kernel learning:trade-off between sparsity and smoothness (2013)
  • 著者名/発表者名: Taiji Suzuki, and Masashi
  • 雑誌名: The Annals of Statistics
• [雑誌論文] Computational complexity of kernel-based density-ratio estimation (2013)
  • 著者名/発表者名: Takafumi Kanamori, Taiji Suzuki, and Masashi Sugiyama
  • 雑誌名: A condition number analysis. Machine Learning 巻: vol.90 ページ: 431-460
• [雑誌論文] Sufficient dimension reduction via squared-loss mutual information estimation (2013)
  • 著者名/発表者名: Taiji Suzuki, and Masashi Sugiyama
  • 雑誌名: Neural Computation 巻: vol. 25 ページ: 725-758
  • NAID: 130008079589
• [雑誌論文] Relative Density-Ratio Estimation for Robust Distribution Comparison (2013)
  • 著者名/発表者名: Makoto Yamada, Taiji Suzuki, Takafumi Kanamori, Hirotaka Hachiya, and Masashi Sugiyama
  • 雑誌名: Neural Computation 巻: 25 号: 5 ページ: 1324-1370
  • DOI: 10.1162/neco_a_00442
  • NAID: 10031099905
  • 査読あり
• [雑誌論文] Computational complexity of kernel-based density-ratio estimation: A condition number analysis (2013)
  • 著者名/発表者名: Takafumi Kanamori, Taiji Suzuki, and Masashi Sugiyama
  • 雑誌名: Machine Learning 巻: 90 号: 3 ページ: 431-460
  • DOI: 10.1007/s10994-012-5323-6
  • 査読あり
• [雑誌論文] Statistical analysis of kernel-based least-squares density-ratio estimation (2012)
  • 著者名/発表者名: Takafumi Kanamori, Taiji Suzuki, and Masashi Sugiyama
  • 雑誌名: Machine Learning 巻: 86 号: 3 ページ: 335-367
  • DOI: 10.1007/s10994-011-5266-3
  • 査読あり
• [雑誌論文] f-divergence estimation and two-sample homogeneity test under semiparametric density-ratio models (2012)
  • 著者名/発表者名: Takafumi Kanamori, Taiji Suzuki, and Masashi Sugiyama
  • 雑誌名: IEEE Transactions on Information Theory 巻: 58 号: 2 ページ: 708-720
  • DOI: 10.1109/tit.2011.2163380
  • 査読あり
• [雑誌論文] A Fast Algorithm for Multiple Kernel Learning with Thousands of Kernels (2011)
  • 著者名/発表者名: Taiji Suzuki and Ryota Tomioka: SpicyMKL
  • 雑誌名: Machine Learning 巻: vol. 85, issue 1 ページ: 77-108
• [雑誌論文] Density ratio matching under the Bregman divergence: A unified framework of density ratio estimation (2011)
  • 著者名/発表者名: Masashi Sugiyama, Taiji Suzuki, and Takafumi Kanamori
  • 雑誌名: Annals of the Institute of Statistical Mathematics 巻: 11 号: 5 ページ: 1-36
  • DOI: 10.1007/s10463-011-0343-8
  • NAID: 40019382740
  • 査読あり
• [雑誌論文] SpicyMKL: A Fast Algorithm for Multiple Kernel Learning with Thousands of Kernels (2011)
  • 著者名/発表者名: Taiji Suzuki and Ryota Tomioka
  • 雑誌名: DOI 10.1007/s10994-011-5252-9 巻: 85 号: 1-2 ページ: 77-108
  • DOI: 10.1007/s10994-011-5252-9
  • 査読あり
• [雑誌論文] Least-Squares Two-Sample Test (2011)
  • 著者名/発表者名: Masashi Sugiyama, Taiji Suzuki, Yuta Itoh, and Takafumi Kanamori
  • 雑誌名: Neural Networks 巻: 24 号: 7 ページ: 735-751
  • DOI: 10.1016/j.neunet.2011.04.003
  • 査読あり
• [雑誌論文] Super-Linear Convergence of Dual Augmented Lagrangian Algorithm for Sparse Learning (2011)
  • 著者名/発表者名: Ryota Tomioka, Taiji Suzuki, and Masashi Sugiyama
  • 雑誌名: Journal of Machine Learning Research 巻: 12 ページ: 1537-1586
  • 査読あり
• [雑誌論文] Direct density-ratio estimation with dimensionality reduction via least-squares hetero-distributional subspace search (2011)
  • 著者名/発表者名: Masashi Sugiyama, Makoto Yamada, Paul von Bunau, Taiji Suzuki, Takafumi Kanamori, Motoaki Kawanabe
  • 雑誌名: Neural Networks 巻: 24 ページ: 183-198
  • 査読あり
• [雑誌論文] Least-squares Independent Component Analysis (2011)
  • 著者名/発表者名: Taiji Suzuki, Masashi Sugiyama
  • 雑誌名: Neural Computation 巻: 23 ページ: 284-301
  • 査読あり
• [雑誌論文] On prior selection and covariate shift ofbeta-Bayesian prediction under alpha-divergence risk. (2010)
  • 著者名/発表者名: Taiji Suzuki, and Fumiyasu Komaki
  • 雑誌名: Communications in Statistics --- Theory and Methods 巻: 39(8) ページ: 1655-1673
• [雑誌論文] Piecewise Affine Systems Modelling for Optimizing Hormonal Therapy of Prostate Cancer (2010)
  • 著者名/発表者名: Taiji Suzuki, Nicholas Bruchovsky, Kazuyuki Aihara
  • 雑誌名: Philosophical Transactions A of the Royal Society 巻: 368 ページ: 5045-5059
  • 査読あり
• [雑誌論文] Theoretical analysis of density ratio estimation (2010)
  • 著者名/発表者名: Takafumi Kanamori, Taiji Suzuki, Masashi Sugiyama
  • 雑誌名: IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 巻: E93-A ページ: 787-798
  • NAID: 10026863929
  • 査読あり
• [雑誌論文] On prior selection and covariate shift of $￥beta$-Bayesian prediction under $￥alpha$-divergence risk (2010)
  • 著者名/発表者名: Taiji Suzuki, Fumiyasu Komaki
  • 雑誌名: Communications in Statistics---Theory and Methods 巻: 39 ページ: 1655-1673
  • 査読あり
• [雑誌論文] Relative Density-Ratio Estimation for Robust Distribution Comparison
  • 著者名/発表者名: Makoto Yamada,Taiji Suzuki,Takafumi Kanamori, Hirotaka Hachiya, Masashi Sugiyama
  • 雑誌名: Neural Computation
  • NAID: 10031099905
• [学会発表] Some convergence results on multiple kernel additive models.N (2012)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: onparametric and High-dimensionalStatistics
  • 発表場所: Luminy, France
  • 年月日: 2012-12-18
• [学会発表] 統計的学習理論チュートリア ル (2012)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 第15回情報論的学 習理論ワークショップ (IBIS2012)
  • 発表場所: 筑波大学東京キャンパス文京校舎
  • 年月日: 2012-11-07
• [学会発表] PAC-Bayesian Bound for Gaussian Process Regression and Multiple Kernel Additive Model (2012)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Conference on Learning Theory (COLT2012)
  • 発表場所: Edinburgh, Scotland
  • 年月日: 2012-06-25
• [学会発表] Fast Learning Rate of Multiple Kernel Learning (2012)
  • 著者名/発表者名: Taiji Suzuki and Masashi Sugiyama
  • 学会等名: Trade-off between Sparsity and Smoothness. Fifteenth International Conference on Artificial Intelligence and Statistics (AISTATS2012)
  • 発表場所: La Palma, Canary Islands
  • 年月日: 2012-04-21
• [学会発表] Density-Difference Estimation (2012)
  • 著者名/発表者名: Masashi Sugiyama, Takafumi Kanamori, Taiji Suzuki, Marthinus Christoffel du Plessis, Song Liu, and Ichiro Takeuchi
  • 学会等名: Advances in Neural Information Processing Systems (NIPS2012)
  • 発表場所: Lake Tahoe, Nevada, United States
• [学会発表] Some convergence results on multiple kernel additive models (2012)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Nonparametric and High-dimensional Statistics
  • 発表場所: Luminy, France
  • 招待講演
• [学会発表] A Conjugate Property between Loss Functions and Uncertainty Sets in Classification Problems (2012)
  • 著者名/発表者名: Takafumi Kanamori, Akiko Takeda and Taiji Suzuki
  • 学会等名: Conference on Learning Theory (COLT2012)
  • 発表場所: Edinburgh, Scotland
• [学会発表] Fast Learning Rate of Multiple Kernel Learning: Trade-off between Sparsity and Smoothness (2012)
  • 著者名/発表者名: Taiji Suzuki and Masashi Sugiyama
  • 学会等名: Fifteenth International Conference on Artificial Intelligence and Statistics (AISTATS2012)
  • 発表場所: La Palma, Canary Islands
• [学会発表] 統計的学習理論チュートリアル：基礎から応用まで (2012)
  • 著者名/発表者名: 鈴木 大慈
  • 学会等名: 第15回情報論的学習理論ワークショップ (IBIS2012)
  • 発表場所: 筑波大学東京キャンパス文京校舎
  • 招待講演
• [学会発表] ガウシアンプロセス回帰を用いた加法モデル推定のPAC-Bayesバウンド (2012)
  • 著者名/発表者名: 鈴木 大慈
  • 学会等名: 統計関連学会連合大会
  • 発表場所: 北海道大学
• [学会発表] ２値判別における損失関数と不確実性集合の共役性 (2012)
  • 著者名/発表者名: 金森 敬文，武田 朗子 ，鈴木 大慈
  • 学会等名: 統計関連学会連合大会
  • 発表場所: 北海道大学
• [学会発表] Unifying Framework for Fast Learning Rate of Non-Sparse Multiple Kernel Learning (2011)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Advances in Neural Information Processing Systems 24 (NIPS2011)
  • 発表場所: Granada, Spain.
  • 年月日: 2011-12-12
• [学会発表] Fast Convergence Rate of Multiple Kernel Learning with Elastic-net Regularization (2011)
  • 著者名/発表者名: 鈴木大慈, 冨岡亮太, 杉山将
  • 学会等名: 第4回IBISML研究会
  • 発表場所: 阪大中之島センター
  • 年月日: 2011-03-29
• [学会発表] カーネル密度比推定の統計的解析 (2011)
  • 著者名/発表者名: 金森敬文, 鈴木大慈, 杉山将
  • 学会等名: 第4回IBISML研究会
  • 発表場所: 阪大中之島センター
  • 年月日: 2011-03-29
• [学会発表] Unifying Framework for Fast Learning Rate of Non-Sparse Multiple Kernel Learning (2011)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Advances in Neural Information Processing Systems 24 (NIPS2011)
  • 発表場所: Granada, Spain
• [学会発表] Statistical Performance of Convex Tensor Decomposition (2011)
  • 著者名/発表者名: Ryota Tomioka, Taiji Suzuki, Kohei Hayashi and Hisashi Kashima
  • 学会等名: Advances in Neural Information Processing Systems 24 (NIPS2011)
  • 発表場所: Granada, Spain
• [学会発表] Relative Density-Ratio Estimation for Robust Distribution Comparison (2011)
  • 著者名/発表者名: Makoto Yamada, Taiji Suzuki, Takafumi Kanamori, Hirotaka Hachiya and Masashi Sugiyama
  • 学会等名: Advances in Neural Information Processing Systems 24 (NIPS2011)
  • 発表場所: Granada, Spain
• [学会発表] 疎でないマルチプルカーネル学習の速い収束レートおよび最適な正則化に関して (2011)
  • 著者名/発表者名: 鈴木 大慈
  • 学会等名: 第14回情報論的学習理論ワークショップ (IBIS2011)
  • 発表場所: 奈良女子大学
• [学会発表] Multiple Kernel Learningの効率的計算法と統計的性質について (2011)
  • 著者名/発表者名: 鈴木 大慈
  • 学会等名: 応用数理学会若手の会単独研究会
  • 発表場所: 早稲田大学
• [学会発表] スパース正則化学習の学習性能,特にスパース性と汎化誤差の関係について (2010)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 第13回情報論的学習理論ワークショップ(IBIS2010)
  • 発表場所: 東京大学
  • 年月日: 2010-11-04
• [学会発表] A computational method to predict PSA evolution for androgen deprivation therapy (2010)
  • 著者名/発表者名: Taiji Suzuki, Nicholas Bruchovsky, Kazuyuki Aihara
  • 学会等名: Sixth International Symposium on Hormonal Oncogenesis
  • 発表場所: Sheraton Grande Tokyo Bay Hotel, Tokyo
  • 年月日: 2010-09-14
• [学会発表] Elasticnet型正則化を用いたMultiple Kernel Learningの漸近的性質について (2010)
  • 著者名/発表者名: 鈴木大慈, 冨岡亮太, 杉山将
  • 学会等名: 統計関連学会連合大会
  • 発表場所: 早稲田大学
  • 年月日: 2010-09-06
• [学会発表] 密度比の推定による2標本検定 (2010)
  • 著者名/発表者名: 金森敬文, 鈴木大慈, 杉山将
  • 学会等名: 統計関連学会連合大会
  • 発表場所: 早稲田大学
  • 年月日: 2010-09-06
• [学会発表] An Efficient and General Augmented Lagrangian Algorithm for Learning Low-Rank Matrices (2010)
  • 著者名/発表者名: Ryota Tomioka, Taiji Suzuki, Masashi Sugiyama, Hisashi Kashima
  • 学会等名: 27th International Conference on Machine Learning International (ICML2010)
  • 発表場所: Haifa, Israel
  • 年月日: 2010-06-22
• [学会発表] Conditional density estimation via least-squares density ratio estimation (2010)
  • 著者名/発表者名: Masashi Sugiyama, Ichiro Takeuchi, Takafumi Kanamori, Taiji Suzuki, Hirotaka Hachiya, Daisuke Okanohara
  • 学会等名: Thirteenth International Conference on Artificial Intelligence and Statistics (AISTATS2010)
  • 発表場所: Chia Laguna Resort, Sardinia, Italy
  • 年月日: 2010-05-14
• [学会発表] Sufficient dimension reduction via squared-loss mutual information estimation (2010)
  • 著者名/発表者名: Taiji Suzuki, Masashi Sugiyama
  • 学会等名: Thirteenth International Conference on Artificial Intelligence and Statistics (AISTATS2010)
  • 発表場所: Chia Laguna Resort, Sardinia, Italy
  • 年月日: 2010-05-13
• [学会発表] Direct density ratio estimation with dimensionality reduction (2010)
  • 著者名/発表者名: Masashi Sugiyama, Satoshi Hara, Paul von Bunau, Taiji Suzuki, Takafumi Kanamori, Motoaki Kawanabe
  • 学会等名: 2010 SIAM International Conference on Data Mining (SDM2010)
  • 発表場所: Columbus, Ohio, USA
  • 年月日: 2010-04-30
• [図書] Cambridge UniversityPress (2012)
  • 著者名/発表者名: Masashi Sugiyama, T aiji Suzuki, andTakafumi Kanamori
  • 総ページ数: 329
  • 出版者: Density Ratio Estimationin Machine Learning
• [図書] Density Ratio Estimation in Machine Learning (2012)
  • 著者名/発表者名: Masashi Sugiyama, Taiji Suzuki, and Takafumi Kanamori
  • 総ページ数: 329
  • 出版者: Cambridge University Press
• [備考]
  • URL: http://www.simplex.t.u-tokyo.ac.jp/~s-taiji/
• [備考] http://www.simplex.t.u-tokyo.ac.jp/~s-taiji/
• [備考] http://www.simplex.t.u-tokyo.ac.jp/~s-taiji/
• [備考]
  • URL: http://www.simplex.t.u-tokyo.ac.jp/~s-taiji/