• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2014 Fiscal Year Annual Research Report

情報量に基づく新しい機械学習理論とその応用

Research Project

Project/Area Number 25700022
Research InstitutionThe University of Tokyo

Principal Investigator

杉山 将  東京大学, 新領域創成科学研究科, 教授 (90334515)

Project Period (FY) 2013-04-01 – 2017-03-31
Keywords機械学習 / 情報量 / 類似度 / ダイバージェンス / 密度差推定
Outline of Annual Research Achievements

26年度は,情報量に基づく様々な機械学習アルゴリズムを開発した.具体的には,以前に開発した情報量に基づくクラスタリングを拡張し,いくつかのデータ対に対して,それらが同じクラスタに属するべきか異なるクラスタに属するべきか,という知識を付与し,そのような追加知識を用いることによってクラスタリングの性能を向上させた.また,相関のある確率変数対が与えられたとき,それらの因果性の方向を推定するアルゴリズムを開発した.このアルゴリズムでは,ノイズが加法的であると仮定し,入力から出力を予測したときの残差を入力と独立にできるかどうかを判定することにより,因果方向を同定する.この独立性の判定部分に,情報量推定アルゴリズムを用いた.更に,情報量を用いて高次元データの次元数を圧縮する教師なし次元削減法を開発した.このアルゴリズムでは,入力と,入力を圧縮した量ができるだけ従属になるように圧縮を行う.これは,情報量の最大化により実現でき,教師なしであるにもかかわらず客観性のある次元削減が行える.
上記の機械学習アルゴリズムの開発と平行して,基礎研究として,確率密度関数間の差を直接推定する密度差推定手法を改良した.また,正例とラベルなしデータだけからクラス事前確率を推定できるアルゴリズムを考案した.これらの基礎研究の成果は,来年度以降の機械学習アルゴリズム開発に利用される予定である.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本年度は,実用性の高い3つの機械学習アルゴリズムを開発したとともに,次年度以降の研究につながる基礎研究においても,密度差推定とクラス事前確率推定の検討において顕著な成果を得た.

Strategy for Future Research Activity

27年度は,これまでの研究を更に発展させ,情報量を用いた様々な機械学習アルゴリズムの開発に取り組む.具体的には,情報量を類似性尺度として用いた異質データ間の適合アルゴリズム,情報量推定アルゴリズムを用いたマルコフ確率場モデルの構造推定法,高速に計算可能なクラス事前確率推定アルゴリズムなどを開発する.

  • Research Products

    (10 results)

All 2014 Other

All Journal Article (6 results) (of which Peer Reviewed: 6 results,  Acknowledgement Compliant: 6 results) Presentation (3 results) Remarks (1 results)

  • [Journal Article] Semi-supervised information-maximization clustering.2014

    • Author(s)
      Calandriello, D., Niu, G., & Sugiyama, M.
    • Journal Title

      Neural Networks

      Volume: 57 Pages: 103-111

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Class prior estimation from positive and unlabeled data.2014

    • Author(s)
      du Plessis, M. C. & Sugiyama, M.
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E97-D Pages: 1358-1362

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Constrained least-squares density-difference estimation.2014

    • Author(s)
      Nguyen, T. D., du Plessis, M. C., Kanamori, T., & Sugiyama, M.
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E97-D Pages: 1822-1829

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Least-squares independence regression for non-linear causal inference under non-Gaussian noise.2014

    • Author(s)
      Yamada, M., Sugiyama, M., & Sese, J.
    • Journal Title

      Machine Learning

      Volume: 96 Pages: 249-267

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Unsupervised dimension reduction via least-squares quadratic mutual information.2014

    • Author(s)
      Sainui, J. & Sugiyama, M.
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E97-D Pages: 2806-2809

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 非定常環境下での学習:共変量シフト適応,クラスバランス変化適応,変化検知.2014

    • Author(s)
      杉山 将, 山田 誠, ドゥ・プレシ マーティヌス・クリストフェル, リウ ソン.
    • Journal Title

      日本統計学会論文誌

      Volume: 44 Pages: 113-136

    • Peer Reviewed / Acknowledgement Compliant
  • [Presentation] Clustering via mode seeking by direct estimation of the gradient of a log-density.2014

    • Author(s)
      Sasaki, H., Hyvarinen, A., & Sugiyama, M.
    • Organizer
      European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML-PKDD2014)
    • Place of Presentation
      Nancy, France
    • Year and Date
      2014-09-15 – 2014-09-19
  • [Presentation] Transductive learning with multi-class volume approximation.2014

    • Author(s)
      Niu, G., Dai, B., du Plessis, M. C., & Sugiyama, M.
    • Organizer
      International Conference on Machine Learning (ICML2014)
    • Place of Presentation
      Beijing, China,
    • Year and Date
      2014-06-21 – 2014-06-26
  • [Presentation] Bias reduction and metric learning for nearest-neighbor estimation of Kullback-Leibler divergence.2014

    • Author(s)
      Noh, Y.-K., Sugiyama, M., Liu, S., du Plessis, M. C., Park, F. C., & Lee, D. D.
    • Organizer
      International Conference on Artificial Intelligence and Statistics (AISTATS2014)
    • Place of Presentation
      Reykjavik, Iceland
    • Year and Date
      2014-04-22 – 2014-04-24
  • [Remarks] http://www.ms.k.u-tokyo.ac.jp

URL: 

Published: 2016-06-01  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi