情報量に基づく新しい機械学習理論とその応用

• 研究課題/領域番号: 25700022
• 研究種目: 若手研究(A)
• 配分区分: 一部基金
• 研究分野: 知能情報学
• 研究機関: 東京大学 (2014-2016); 東京工業大学 (2013)
• 研究代表者: 杉山 将 東京大学, 新領域創成科学研究科, 教授 (90334515)
• 研究期間 (年度): 2013-04-01 – 2017-03-31
• 研究課題ステータス: 完了 (2016年度)
• 配分額: 25,350千円 (直接経費: 19,500千円、間接経費: 5,850千円); 2016年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円); 2015年度: 7,930千円 (直接経費: 6,100千円、間接経費: 1,830千円); 2014年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円); 2013年度: 8,320千円 (直接経費: 6,400千円、間接経費: 1,920千円)
• キーワード: 機械学習 / 情報量 / 密度比 / 密度差 / 密度微分 / 教師付き学習 / 教師なし学習 / 強化学習 / クラス事前確率推定 / 次元削減 / リーマン幾何 / 類似度 / ダイバージェンス / 密度差推定

研究成果の概要

本研究では，密度比や密度差を各密度を推定することなく直接学習する手法を開発し，それらに基づく様々な機械学習アルゴリズムを開発した．具体的には，半教師付き分類アルゴリズム，教師なしクラスタリングアルゴリズム，教師付き因果推論アルゴリズム，教師付き次元削減アルゴリズム，教師なし次元削減アルゴリズム，正例とラベルなしデータからの分類アルゴリズム，ターゲットシフト下での教師付き学習法，異ドメイン間オブジェクト適合法などを開発した．また，密度微分を密度を推定することなく直接学習する手法も開発し，モード回帰アルゴリズム，非正規成分分析アルゴリズムなどを開発した．

研究成果

• [国際共同研究] Universite Paris-Dauphine(フランス)
• [国際共同研究] Seoul National University(韓国)
• [国際共同研究] Technischen Universitaet Darmstadt(ドイツ)
• [雑誌論文] Geometry-aware principal component analysis for symmetric positive definite matrices (2017)
  • 著者名/発表者名: Horev, I., Yger, F., & Sugiyama, M.
  • 雑誌名: Machine Learning 巻: -
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Class-prior estimation for learning from positive and unlabeled data (2017)
  • 著者名/発表者名: du Plessis, M. C., Niu, G., & Sugiyama, M.
  • 雑誌名: Machine Learning 巻: -
  • 査読あり / 謝辞記載あり
• [雑誌論文] Model-based reinforcement learning with dimension reduction (2016)
  • 著者名/発表者名: Tangkaratt, V., Morimoto, J., & Sugiyama, M.
  • 雑誌名: Neural Networks 巻: 84 ページ: 1-16
  • 査読あり / 謝辞記載あり
• [雑誌論文] Direct density-derivative estimation (2016)
  • 著者名/発表者名: Sasaki, H., Noh, Y.-K., Niu, G., & Sugiyama, M.
  • 雑誌名: Neural Computation 巻: 28 ページ: 1101-1140
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Regularized multi-task learning for multi-dimensional log-density gradient estimation (2016)
  • 著者名/発表者名: Yamane, I., Sasaki, H., & Sugiyama, M.
  • 雑誌名: Neural Computation 巻: 28 ページ: 1388-1410
  • NAID: 110009971442
  • 査読あり / 謝辞記載あり
• [雑誌論文] Computationally efficient class-prior estimation under class balance change using energy distance (2016)
  • 著者名/発表者名: Kawakubo, H., du Plessis, M. C., & Sugiyama, M.
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E99-D ページ: 176-186
  • NAID: 130005116200
  • 査読あり / 謝辞記載あり
• [雑誌論文] Bandit-based task assignment for heterogeneous crowdsourcing (2015)
  • 著者名/発表者名: Zhang, H., Ma, Y., & Sugiyama, M.
  • 雑誌名: Neural Computation 巻: 27 ページ: 2447-2475
  • 査読あり / 謝辞記載あり
• [雑誌論文] 相互情報量を用いた機械学習とそのロボティクスへの応用 (2015)
  • 著者名/発表者名: 杉山 将, 入江 清, 友納 正裕
  • 雑誌名: 日本ロボット学会誌 巻: 33 ページ: 86-91
  • NAID: 130005065137
  • 謝辞記載あり
• [雑誌論文] Cross-domain matching with squared-loss mutual information (2015)
  • 著者名/発表者名: Yamada, M., Sigal, L., Raptis, M., Toyoda, M., Chang, Y., & Sugiyama, M.
  • 雑誌名: IEEE Transactions on Pattern Analysis and Machine Intelligence 巻: 37 ページ: 1764-1776
  • 査読あり / 謝辞記載あり
• [雑誌論文] Online direct density-ratio estimation applied to inlier-based outlier detection (2015)
  • 著者名/発表者名: du Plessis, M. C., Shiino, H., & Sugiyama, M.
  • 雑誌名: Neural Computation 巻: 27 ページ: 1899-1914
  • 査読あり / 謝辞記載あり
• [雑誌論文] Semi-supervised information-maximization clustering. (2014)
  • 著者名/発表者名: Calandriello, D., Niu, G., & Sugiyama, M.
  • 雑誌名: Neural Networks 巻: 57 ページ: 103-111
  • 査読あり / 謝辞記載あり
• [雑誌論文] Class prior estimation from positive and unlabeled data. (2014)
  • 著者名/発表者名: du Plessis, M. C. & Sugiyama, M.
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E97-D ページ: 1358-1362
  • NAID: 130004519253
  • 査読あり / 謝辞記載あり
• [雑誌論文] Constrained least-squares density-difference estimation. (2014)
  • 著者名/発表者名: Nguyen, T. D., du Plessis, M. C., Kanamori, T., & Sugiyama, M.
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E97-D ページ: 1822-1829
  • NAID: 130004519278
  • 査読あり / 謝辞記載あり
• [雑誌論文] Least-squares independence regression for non-linear causal inference under non-Gaussian noise. (2014)
  • 著者名/発表者名: Yamada, M., Sugiyama, M., & Sese, J.
  • 雑誌名: Machine Learning 巻: 96 ページ: 249-267
  • 査読あり / 謝辞記載あり
• [雑誌論文] Unsupervised dimension reduction via least-squares quadratic mutual information. (2014)
  • 著者名/発表者名: Sainui, J. & Sugiyama, M.
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E97-D ページ: 2806-2809
  • NAID: 110009971453
  • 査読あり / 謝辞記載あり
• [雑誌論文] 非定常環境下での学習：共変量シフト適応，クラスバランス変化適応，変化検知. (2014)
  • 著者名/発表者名: 杉山 将, 山田 誠, ドゥ・プレシ マーティヌス・クリストフェル, リウ ソン.
  • 雑誌名: 日本統計学会論文誌 巻: 44 ページ: 113-136
  • NAID: 110009864639
  • 査読あり / 謝辞記載あり
• [雑誌論文] Statistical analysis of distance estimators with density differences and density ratios (2014)
  • 著者名/発表者名: Kanamori, T. & Sugiyama, M.
  • 雑誌名: Entropy 巻: 16 ページ: 921-942
  • 査読あり
• [雑誌論文] Semi-supervised learning of class balance under class-prior change by distribution matching (2014)
  • 著者名/発表者名: du Plessis, M. C. & Sugiyama, M.
  • 雑誌名: Neural Networks 巻: 50 ページ: 110-119
  • NAID: 110009545983
  • 査読あり
• [雑誌論文] Information-maximization clustering based on squared-loss mutual information (2014)
  • 著者名/発表者名: Sugiyama, M., Niu, G., Yamada, M., Kimura, M., & Hachiya, H.
  • 雑誌名: Neural Computation 巻: 26 ページ: 84-131
  • 査読あり
• [雑誌論文] Direct approximation of quadratic mutual information and its application to dependence-maximization clustering. (2013)
  • 著者名/発表者名: Sainui, J. & Sugiyama, M.
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E96-D ページ: 2282-2285
  • NAID: 130004519212
  • 査読あり
• [雑誌論文] Learning under non-stationarity: Covariate shift and class-balance change. (2013)
  • 著者名/発表者名: Sugiyama, M., Yamada, M., & du Plessis, M. C.
  • 雑誌名: WIREs Computational Statistics 巻: - ページ: 1-13
  • 査読あり
• [学会発表] Least-squares log-density gradient clustering for Riemannian manifolds (2017)
  • 著者名/発表者名: Ashizawa, M., Sasaki, H., Sakai, T., & Sugiyama, M.
  • 学会等名: 29th International Conference on Artificial Intelligence and Statistics (AISTATS2017)
  • 発表場所: Fort Lauderdale, Florida, USA
  • 年月日: 2017-04-20
  • 国際学会
• [学会発表] Policy search with high-dimensional context variables (2017)
  • 著者名/発表者名: Tangkaratt, V., van Hoof, H., Parisi, S., Neumann, G., Peters, J., & Sugiyama, M.
  • 学会等名: Twenty-Ninth AAAI Conference on Artificial Intelligence (AAAI2017)
  • 発表場所: San Francisco, California, USA
  • 年月日: 2017-02-04
  • 国際学会
• [学会発表] Semi-supervised sufficient dimension reduction under class-prior change (2016)
  • 著者名/発表者名: Kawakubo, H. & Sugiyama, M.
  • 学会等名: Conference on Technologies and Applications of Artificial Intelligence (TAAI2016)
  • 発表場所: Hsinchu, Taiwan
  • 年月日: 2016-11-25
  • 国際学会
• [学会発表] Geometry-aware stationary subspace analysis (2016)
  • 著者名/発表者名: Horev, I., Yger, F., & Sugiyama, M.
  • 学会等名: 8th Asian Conference on Machine Learning (ACML2016)
  • 発表場所: Hamilton, New Zealand
  • 年月日: 2016-11-16
  • 国際学会
• [学会発表] Modal regression via direct log-density derivative estimation (2016)
  • 著者名/発表者名: Sasaki, H., Ono, Y., & Sugiyama, M.
  • 学会等名: 23rd International Conference on Neural Information Processing (ICONIP2016)
  • 発表場所: Kyoto, Japan
  • 年月日: 2016-10-16
  • 国際学会
• [学会発表] Non-Gaussian component analysis with log-density gradient estimation (2016)
  • 著者名/発表者名: Sasaki, H., Niu, G., & Sugiyama, M.
  • 学会等名: 19th International Conference on Artificial Intelligence and Statistics (AISTATS2016)
  • 発表場所: Cadiz, Spain
  • 年月日: 2016-05-09
  • 国際学会
• [学会発表] Geometry-aware principal component analysis for symmetric positive definite matrices (2015)
  • 著者名/発表者名: Horev, I., Yger, F., & Sugiyama, M.
  • 学会等名: Asian Conference on Machine Learning (ACML2015)
  • 発表場所: Hong Kong, China
  • 年月日: 2015-11-20
  • 国際学会
• [学会発表] Sufficient dimension reduction via direct estimation of the gradients of logarithmic conditional densities (2015)
  • 著者名/発表者名: Sasaki, H., Tangkaratt, V., & Sugiyama, M.
  • 学会等名: Asian Conference on Machine Learning (ACML2015)
  • 発表場所: Hong Kong, China
  • 年月日: 2015-11-20
  • 国際学会
• [学会発表] Class-prior estimation for learning from positive and unlabeled data (2015)
  • 著者名/発表者名: du Plessis, M. C., Niu, G., & Sugiyama, M.
  • 学会等名: Asian Conference on Machine Learning (ACML2015)
  • 発表場所: Hong Kong, China
  • 年月日: 2015-11-20
  • 国際学会
• [学会発表] Target shift adaptation in supervised learning (2015)
  • 著者名/発表者名: Nguyen, T. D., du Plessis, M. C., & Sugiyama, M.
  • 学会等名: Asian Conference on Machine Learning (ACML2015)
  • 発表場所: Hong Kong, China
  • 年月日: 2015-11-20
  • 国際学会
• [学会発表] Clustering via mode seeking by direct estimation of the gradient of a log-density. (2014)
  • 著者名/発表者名: Sasaki, H., Hyvarinen, A., & Sugiyama, M.
  • 学会等名: European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML-PKDD2014)
  • 発表場所: Nancy, France
  • 年月日: 2014-09-15 – 2014-09-19
• [学会発表] Transductive learning with multi-class volume approximation. (2014)
  • 著者名/発表者名: Niu, G., Dai, B., du Plessis, M. C., & Sugiyama, M.
  • 学会等名: International Conference on Machine Learning (ICML2014)
  • 発表場所: Beijing, China,
  • 年月日: 2014-06-21 – 2014-06-26
• [学会発表] Bias reduction and metric learning for nearest-neighbor estimation of Kullback-Leibler divergence. (2014)
  • 著者名/発表者名: Noh, Y.-K., Sugiyama, M., Liu, S., du Plessis, M. C., Park, F. C., & Lee, D. D.
  • 学会等名: International Conference on Artificial Intelligence and Statistics (AISTATS2014)
  • 発表場所: Reykjavik, Iceland
  • 年月日: 2014-04-22 – 2014-04-24
• [学会発表] Squared-loss mutual information regularization. (2013)
  • 著者名/発表者名: Niu, G., Jitkrittum, W., Dai, B., Hachiya, H., & Sugiyama, M.
  • 学会等名: 30th International Conference on Machine Learning (ICML2013)
  • 発表場所: Atlanta, Georgia, USA
• [学会発表] Clustering unclustered data: Unsupervised binary labeling of two datasets having different class balances. (2013)
  • 著者名/発表者名: du Plessis, M. C., Niu, G., & Sugiyama, M.
  • 学会等名: Conference on Technologies and Applications of Artificial Intelligence (TAAI2013),
  • 発表場所: Taipei, Taiwan
• [図書] Introduction to Statistical Machine Learning (2015)
  • 著者名/発表者名: Sugiyama, M.
  • 総ページ数: 534
  • 出版者: Morgan Kaufmann
• [図書] 異常検知と変化検知 (2015)
  • 著者名/発表者名: 井手 剛, 杉山 将
  • 総ページ数: 192
  • 出版者: 講談社
• [図書] イラストで学ぶ機械学習：最小二乗法による識別モデル学習を中心に (2013)
  • 著者名/発表者名: 杉山 将
  • 総ページ数: 230
  • 出版者: 講談社
• [備考] 杉山将のホームページ
  • URL: http://www.ms.k.u-tokyo.ac.jp/sugi/
• [備考] Masashi Sugiyama's Web Page
  • URL: http://www.ms.k.u-tokyo.ac.jp/sugi/
• [備考] http://www.ms.k.u-tokyo.ac.jp
• [備考] 杉山将のページ
  • URL: http://sugiyama-www.cs.titech.ac.jp/~sugi/