• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2010 Fiscal Year Annual Research Report

データ横断的機械学習手法の理論と応用

Research Project

Project/Area Number 22700289
Research InstitutionThe University of Tokyo

Principal Investigator

鈴木 大慈  東京大学, 大学院・情報理工学系研究科, 助教 (60551372)

Keywords統計的学習理論 / 機械学習 / 統計数学
Research Abstract

スパース学習のカーネル版であるMKL(Multiple Kernel Learning)を軸にして,その性能に関する統計理論の一般化を行った.パラメトリックなスパース学習で用いられていた理論とノンパラメトリックな学習理論を融合することにより,新しいスパース学習の理論的解析を与えた.ノンパラメトリックな学習理論はカーネル学習を中心に機械学習の理論研究で重要な位置を占めてきた.スパース学習の理論解析はLassoに代表されるパラメトリックなモデルが主であり,そこへノンパラメトリックな理論を持ち込むことにより,MKLのようなノンパラメトリックなスパース学習の解析も可能になる.本研究の一つの目的であるスパース性を少し緩めた手法の理論解析として,MKLを拡張した手法の新しい性能評価を与えた.この研究によりMKLにおいてはパラメトリックな設定では現れない違いが正則化のしかたにより現れることが確認できた.また,我々の導出した性能評価はどの手法も越えられないミニマックスレートを達成していることが証明でき,それからMKLはミニマックスレートの意味で最適性を有することが確認された.また,MKLを拡張したElasticnet型正則化を持つMKLにおいて,真がスパースでないときにどのような正則化パラメータを用いれば最適であるかを理論的に考察した.さらに,MKLにおけるカーネル重みの正則化と関数のノルムに対する正則化の関係をできるだけ一般的な文脈で明らかにした.
スパース学習とは異なる文脈において,二乗誤差相互情報量を用いた新しい次元削減の方法を提案し,理論的な性能評価および数値実験において提案手法の有用性を示した.

  • Research Products

    (16 results)

All 2011 2010 Other

All Journal Article (5 results) (of which Peer Reviewed: 5 results) Presentation (10 results) Remarks (1 results)

  • [Journal Article] Direct density-ratio estimation with dimensionality reduction via least-squares hetero-distributional subspace search2011

    • Author(s)
      Masashi Sugiyama, Makoto Yamada, Paul von Bunau, Taiji Suzuki, Takafumi Kanamori, Motoaki Kawanabe
    • Journal Title

      Neural Networks

      Volume: 24 Pages: 183-198

    • Peer Reviewed
  • [Journal Article] Least-squares Independent Component Analysis2011

    • Author(s)
      Taiji Suzuki, Masashi Sugiyama
    • Journal Title

      Neural Computation

      Volume: 23 Pages: 284-301

    • Peer Reviewed
  • [Journal Article] Piecewise Affine Systems Modelling for Optimizing Hormonal Therapy of Prostate Cancer2010

    • Author(s)
      Taiji Suzuki, Nicholas Bruchovsky, Kazuyuki Aihara
    • Journal Title

      Philosophical Transactions A of the Royal Society

      Volume: 368 Pages: 5045-5059

    • Peer Reviewed
  • [Journal Article] Theoretical analysis of density ratio estimation2010

    • Author(s)
      Takafumi Kanamori, Taiji Suzuki, Masashi Sugiyama
    • Journal Title

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: E93-A Pages: 787-798

    • Peer Reviewed
  • [Journal Article] On prior selection and covariate shift of $¥beta$-Bayesian prediction under $¥alpha$-divergence risk2010

    • Author(s)
      Taiji Suzuki, Fumiyasu Komaki
    • Journal Title

      Communications in Statistics---Theory and Methods

      Volume: 39 Pages: 1655-1673

    • Peer Reviewed
  • [Presentation] Fast Convergence Rate of Multiple Kernel Learning with Elastic-net Regularization2011

    • Author(s)
      鈴木大慈, 冨岡亮太, 杉山将
    • Organizer
      第4回IBISML研究会
    • Place of Presentation
      阪大中之島センター
    • Year and Date
      2011-03-29
  • [Presentation] カーネル密度比推定の統計的解析2011

    • Author(s)
      金森敬文, 鈴木大慈, 杉山将
    • Organizer
      第4回IBISML研究会
    • Place of Presentation
      阪大中之島センター
    • Year and Date
      2011-03-29
  • [Presentation] スパース正則化学習の学習性能,特にスパース性と汎化誤差の関係について2010

    • Author(s)
      鈴木大慈
    • Organizer
      第13回情報論的学習理論ワークショップ(IBIS2010)
    • Place of Presentation
      東京大学
    • Year and Date
      2010-11-04
  • [Presentation] A computational method to predict PSA evolution for androgen deprivation therapy2010

    • Author(s)
      Taiji Suzuki, Nicholas Bruchovsky, Kazuyuki Aihara
    • Organizer
      Sixth International Symposium on Hormonal Oncogenesis
    • Place of Presentation
      Sheraton Grande Tokyo Bay Hotel, Tokyo
    • Year and Date
      2010-09-14
  • [Presentation] Elasticnet型正則化を用いたMultiple Kernel Learningの漸近的性質について2010

    • Author(s)
      鈴木大慈, 冨岡亮太, 杉山将
    • Organizer
      統計関連学会連合大会
    • Place of Presentation
      早稲田大学
    • Year and Date
      2010-09-06
  • [Presentation] 密度比の推定による2標本検定2010

    • Author(s)
      金森敬文, 鈴木大慈, 杉山将
    • Organizer
      統計関連学会連合大会
    • Place of Presentation
      早稲田大学
    • Year and Date
      2010-09-06
  • [Presentation] An Efficient and General Augmented Lagrangian Algorithm for Learning Low-Rank Matrices2010

    • Author(s)
      Ryota Tomioka, Taiji Suzuki, Masashi Sugiyama, Hisashi Kashima
    • Organizer
      27th International Conference on Machine Learning International (ICML2010)
    • Place of Presentation
      Haifa, Israel
    • Year and Date
      2010-06-22
  • [Presentation] Conditional density estimation via least-squares density ratio estimation2010

    • Author(s)
      Masashi Sugiyama, Ichiro Takeuchi, Takafumi Kanamori, Taiji Suzuki, Hirotaka Hachiya, Daisuke Okanohara
    • Organizer
      Thirteenth International Conference on Artificial Intelligence and Statistics (AISTATS2010)
    • Place of Presentation
      Chia Laguna Resort, Sardinia, Italy
    • Year and Date
      2010-05-14
  • [Presentation] Sufficient dimension reduction via squared-loss mutual information estimation2010

    • Author(s)
      Taiji Suzuki, Masashi Sugiyama
    • Organizer
      Thirteenth International Conference on Artificial Intelligence and Statistics (AISTATS2010)
    • Place of Presentation
      Chia Laguna Resort, Sardinia, Italy
    • Year and Date
      2010-05-13
  • [Presentation] Direct density ratio estimation with dimensionality reduction2010

    • Author(s)
      Masashi Sugiyama, Satoshi Hara, Paul von Bunau, Taiji Suzuki, Takafumi Kanamori, Motoaki Kawanabe
    • Organizer
      2010 SIAM International Conference on Data Mining (SDM2010)
    • Place of Presentation
      Columbus, Ohio, USA
    • Year and Date
      2010-04-30
  • [Remarks]

    • URL

      http://www.simplex.t.u-tokyo.ac.jp/~s-taiji/

URL: 

Published: 2012-07-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi