行列の上のスパース正則化に基づく機械学習

• 研究課題/領域番号: 22700138
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 知能情報学
• 研究機関: 東京大学
• 研究代表者: 冨岡 亮太 東京大学, 大学院・情報理工学系研究科, 助教 (70518282)
• 研究期間 (年度): 2010 – 2012
• 研究課題ステータス: 完了 (2012年度)
• 配分額: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円); 2012年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2011年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円); 2010年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
• キーワード: 機械学習 / スパース性 / 正則化 / 行列 / テンソル / スパース正則化 / スパース / 最適化

研究概要

ベクトルのためのスパース正則化を実現するための最適化アルゴリズムである双対拡張ラグランジュ(DAL)法を行列のスペクトルに対する正則化に拡張し,国際会議ICML2010で発表した.さらに,その収束性に関して国際論文誌JMLRで発表,またMITPressから出版されたOptimizationforMachineLearningの一部として発表するとともに,ウェブページでプログラムを公開してアルゴリズムの普及に務めた.2.非数値データに対応するためにDAL法のマルチカーネル学習への拡張を行い,候補カーネルの数が数千という非常に大規模な問題にもスケールする方法を提案した.この成果は国際論文誌MachineLearningで発表した.3.行列を含む高次テンソルに対するスペクトルに基づく正則化法を提案し,その理論的な性能を解析した.この成果は国際会議NIPS2011で発表した.

研究成果

• [雑誌論文] Global analytic solution of fully-observed variational Bayesian matrix factorization. (2013)
  • 著者名/発表者名: S. Nakajima, M. Sugiyama, S. Babacan,and R. Tomioka.
  • 雑誌名: J. Mach.Learn. Res. 巻: 14 ページ: 1-37
• [雑誌論文] Global Analytic Solution of Fully-observed Variational Bayesian Matrix Factorization (2013)
  • 著者名/発表者名: Shinichi Nakajima, Masashi Sugiyama, S. Derin Babacan, Ryota Tomioka
  • 雑誌名: Journal of Machine Learning Research 巻: 14 ページ: 1-37
  • 査読あり
• [雑誌論文] Discovering emerging topics in social streams via link anomaly detection. (2012)
  • 著者名/発表者名: T. Takahashi, R. Tomioka, and K. Yamanishi
  • 雑誌名: IEEE Transactions on Knowledge and Data Engineering. 巻: (Accepted.)
• [雑誌論文] Discovering Emerging Topics in Social Streams via Link Anomaly Detection (2012)
  • 著者名/発表者名: Toshimitsu Takahashi, Ryota Tomioka, Kenji Yamanishi
  • 雑誌名: IEEE Transactions on Knowledge and Data Engineering 巻: 未定 号: 1 ページ: 120-130
  • DOI: 10.1109/tkde.2012.239
  • 査読あり
• [雑誌論文] Super-linear convergence of dual augmented Lagrangian algorithm for sparse learning. (2011)
  • 著者名/発表者名: R. Tomioka, T. Suzuki, and M. Sugiyama
  • 雑誌名: Journal of Machine Learning Research 巻: 12 ページ: 1537-1586
• [雑誌論文] SpicyMKL: A Fast Algorithm for Multiple Kernel Learning with Thousands of Kernels. (2011)
  • 著者名/発表者名: T. Suzuki and R. Tomioka
  • 雑誌名: Machine Learning 巻: 85 ページ: 77-108
• [雑誌論文] SpicyMKL: A Fast Algorithm for Multiple Kernel Learning with Thousands of Kernels (2011)
  • 著者名/発表者名: Taiji Suzuki and Ryota Tomioka
  • 雑誌名: DOI 10.1007/s10994-011-5252-9 巻: 85 号: 1-2 ページ: 77-108
  • DOI: 10.1007/s10994-011-5252-9
  • 査読あり
• [雑誌論文] Super-Linear Convergence of Dual Augmented Lagrangian Algorithm for Sparse Learning (2011)
  • 著者名/発表者名: 冨岡亮太
  • 雑誌名: Journal of Machine Learning Research 巻: (印刷中(掲載確定))
  • 査読あり
• [学会発表] A Bayesian Analysis of the Radioactive Releases of Fukushima. (2012)
  • 著者名/発表者名: R. Tomioka and M. Morup
  • 学会等名: In JMLUR Workshop and Conference Proceedings 22 (AISTATS2012)
• [学会発表] A combinatorial algebraic approach for the identifiability of low-rank matrix completion. (2012)
  • 著者名/発表者名: F. Kiraly and R. Tomioka
  • 学会等名: In Proc. 29th International Conference on Machine Learning
• [学会発表] Perfect dimensionality recovery by variational Bayesian PCA. (2012)
  • 著者名/発表者名: S. Nakajima, R. Tomioka, M. Sugiyama,and S. Babacan
  • 学会等名: In Advances in Neural Information Processing Systems
• [学会発表] A Combinatorial Algebraic Approach for the Identifiability of Low-Rank Matrix Completion (2012)
  • 著者名/発表者名: Franz Kiraly and Ryota Tomioka
  • 学会等名: The 29th International Conference on Machine Learning (ICML2012)
  • 発表場所: エジンバラ・イギリス
• [学会発表] Perfect Dimensionality Recovery by Variational Bayesian PCA (2012)
  • 著者名/発表者名: Shinichi Nakajima, Ryota Tomioka, Masashi Sugiyama, S. Derin Babacan
  • 学会等名: Neural Information Processing Systems 2012 (NIPS2012)
  • 発表場所: レイクタホ・アメリカ
• [学会発表] A Bayesian Analysis of the Radioactive Releases of Fukushima (2012)
  • 著者名/発表者名: Ryota Tomioka and Morten Mørup
  • 学会等名: Artificial Intelligence and Statistics 2012 (AISTATS2012)
  • 発表場所: ラパルマ・スペイン
• [学会発表] Discovering emerging topics in social streams via link anomaly detection. (2011)
  • 著者名/発表者名: T. Takahashi, R. Tomioka, and K.Yamanishi.
  • 学会等名: In Proc. of the 11th International Conference on Data Mining(ICDM2011)
• [学会発表] Statistical Performance of Convex Tensor Decomposition. (2011)
  • 著者名/発表者名: R Tomioka, T. Suzuki, K. Hayashi, and H. Kashima
  • 学会等名: In Advances in Neural Information Processing Systems
• [学会発表] Statistical Performance of Convex Tensor Decomposition (2011)
  • 著者名/発表者名: Ryota Tomioka, Taiji Suzuki, Kohei Hayashi, and Hisashi Kashima
  • 学会等名: Neural Information Processing Systems 2011 (NIPS2011)
  • 発表場所: グラナダ・スペイン
• [学会発表] Discovering Emerging Topics in Social Streams via Link Anomaly Detection (2011)
  • 著者名/発表者名: Toshimitsu Takahashi, Ryota Tomioka, and Kenji Yamanishi
  • 学会等名: IEEE International Conference on Data Mining 2011 (ICDM2011)
  • 発表場所: バンクーバー・カナダ
• [学会発表] A Fast Augmented Lagrangian Algorithm for Learning Low-Rank Matrices (2010)
  • 著者名/発表者名: 冨岡亮太
  • 学会等名: 27th Annual International Conference on Machine Learning (ICML 2010)
  • 発表場所: イスラエル・ハイファ
  • 年月日: 2010-06-22
• [学会発表] A fast augmented Lagrangian algorithm for learning low-rank matrices. (2010)
  • 著者名/発表者名: R. Tomioka, T. Suzuki, M. Sugiyama, and H. Kashima.
  • 学会等名: In Proc. the 27th Annual International Conference on Machine Learning (ICML2010)
  • 発表場所: Omnipress
• [図書] Augmented Lagrangian methods for learning, selecting, and combining features. (2011)
  • 著者名/発表者名: R. Tomioka, T. Suzuki, and M. Sugiyama.
  • 出版者: MIT Press.
• [図書] Augmented Lagrangian Methods for Learning, Selecting, and Combining Features (S.Sra, S.Nowozin, S.J.Wright編集"Optimization for Machine Learning"の一部) (2011)
  • 著者名/発表者名: 冨岡亮太
  • 出版者: MIT Press(印刷中(掲載確定))
• [備考]
  • URL: http://www.ibis.t.u-tokyo.ac.jp/ryotat/
• [備考] 双対拡張ラグランジュ法
  • URL: http://www.ibis.t.u-tokyo.ac.jp/ryotat/dal/
• [備考] DAL
  • URL: http://www.ibis.t.u-tokyo.ac.jp/ryotat/dal/
• [備考] Trace norm regularization
  • URL: http://www.ibis.t.u-tokyo.ac.jp/RyotaTomioka/Softwares/Tensor
• [備考] Ph.D. Course
  • URL: http://www.imm.dtu.dk/Forskning/ISP/Undervisning/02901_2012.aspx
• [備考] DAL
  • URL: http://www.ibis.t.u-tokyo.ac.jp/ryotat/dal/
• [備考] Trace norm regularization
  • URL: http://www.ibis.t.u-tokyo.ac.jp/RyotaTomioka/Softwares/Tensor
• [備考] Ph.D. Course
  • URL: http://www.imm.dtu.dk/Forskning/ISP/Undervisning/02901_2011.aspx
• [備考]
  • URL: http://www.ibis.t.u-tokyo.ac.jp/RyotaTomioka/Publications