行列の上のスパース正則化に基づく機械学習

2012 年度 研究成果報告書

• 研究課題/領域番号: 22700138
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 知能情報学
• 研究機関: 東京大学
• 研究代表者: 冨岡 亮太 東京大学, 大学院・情報理工学系研究科, 助教 (70518282)
• 研究期間 (年度): 2010 – 2012
• キーワード: 機械学習 / スパース性 / 正則化 / 行列 / テンソル

研究概要

ベクトルのためのスパース正則化を実現するための最適化アルゴリズムである双対拡張ラグランジュ(DAL)法を行列のスペクトルに対する正則化に拡張し,国際会議ICML2010で発表した.さらに,その収束性に関して国際論文誌JMLRで発表,またMITPressから出版されたOptimizationforMachineLearningの一部として発表するとともに,ウェブページでプログラムを公開してアルゴリズムの普及に務めた.2.非数値データに対応するためにDAL法のマルチカーネル学習への拡張を行い,候補カーネルの数が数千という非常に大規模な問題にもスケールする方法を提案した.この成果は国際論文誌MachineLearningで発表した.3.行列を含む高次テンソルに対するスペクトルに基づく正則化法を提案し,その理論的な性能を解析した.この成果は国際会議NIPS2011で発表した.

研究成果

• [雑誌論文] Global analytic solution of fully-observed variational Bayesian matrix factorization. (2013)
  • 著者名/発表者名: S. Nakajima, M. Sugiyama, S. Babacan,and R. Tomioka.
  • 雑誌名: J. Mach.Learn. Res. 巻: 14 ページ: 1-37
• [雑誌論文] Discovering emerging topics in social streams via link anomaly detection. (2012)
  • 著者名/発表者名: T. Takahashi, R. Tomioka, and K. Yamanishi
  • 雑誌名: IEEE Transactions on Knowledge and Data Engineering. 巻: (Accepted.)
• [雑誌論文] Super-linear convergence of dual augmented Lagrangian algorithm for sparse learning. (2011)
  • 著者名/発表者名: R. Tomioka, T. Suzuki, and M. Sugiyama
  • 雑誌名: Journal of Machine Learning Research 巻: 12 ページ: 1537-1586.
• [雑誌論文] SpicyMKL: A Fast Algorithm for Multiple Kernel Learning with Thousands of Kernels. (2011)
  • 著者名/発表者名: T. Suzuki and R. Tomioka
  • 雑誌名: Machine Learning 巻: 85 ページ: 77-108.
• [学会発表] A Bayesian Analysis of the Radioactive Releases of Fukushima. (2012)
  • 著者名/発表者名: R. Tomioka and M. Morup
  • 学会等名: In JMLUR Workshop and Conference Proceedings 22 (AISTATS2012)
  • 年月日: 20120000
• [学会発表] A combinatorial algebraic approach for the identifiability of low-rank matrix completion. (2012)
  • 著者名/発表者名: F. Kiraly and R. Tomioka
  • 学会等名: In Proc. 29th International Conference on Machine Learning
  • 年月日: 20120000
• [学会発表] Perfect dimensionality recovery by variational Bayesian PCA. (2012)
  • 著者名/発表者名: S. Nakajima, R. Tomioka, M. Sugiyama,and S. Babacan
  • 学会等名: In Advances in Neural Information Processing Systems
  • 年月日: 20120000
• [学会発表] Discovering emerging topics in social streams via link anomaly detection. (2011)
  • 著者名/発表者名: T. Takahashi, R. Tomioka, and K.Yamanishi.
  • 学会等名: In Proc. of the 11th International Conference on Data Mining(ICDM2011)
  • 年月日: 20110000
• [学会発表] Statistical Performance of Convex Tensor Decomposition. (2011)
  • 著者名/発表者名: R Tomioka, T. Suzuki, K. Hayashi, and H. Kashima
  • 学会等名: In Advances in Neural Information Processing Systems
  • 年月日: 20110000
• [学会発表] A fast augmented Lagrangian algorithm for learning low-rank matrices. (2010)
  • 著者名/発表者名: R. Tomioka, T. Suzuki, M. Sugiyama, and H. Kashima.
  • 学会等名: In Proc. the 27th Annual International Conference on Machine Learning (ICML2010)
  • 発表場所: Omnipress
  • 年月日: 20100000
• [図書] Augmented Lagrangian methods for learning, selecting, and combining features. (2011)
  • 著者名/発表者名: R. Tomioka, T. Suzuki, and M. Sugiyama.
  • 出版者: MIT Press.
• [備考]
  • URL: http://www.ibis.t.u-tokyo.ac.jp/ryotat/
• [備考] 双対拡張ラグランジュ法
  • URL: http://www.ibis.t.u-tokyo.ac.jp/ryotat/dal/