• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

非凸損失による機械学習アルゴリズムの数理と実用化に関する研究

研究課題

研究課題/領域番号 16K00044
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 統計科学
研究機関東京工業大学 (2017-2019)
名古屋大学 (2016)

研究代表者

金森 敬文  東京工業大学, 情報理工学院, 教授 (60334546)

研究期間 (年度) 2016-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2018年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2017年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2016年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
キーワード機械学習 / 数理統計学 / 最適化 / 変数選択 / ロバスト統計 / ロバスト
研究成果の概要

本研究の目的は,ロバスト推定やスパース・モデリングなどの統計的学習の問題に対して,非凸損失関数の最適化という統一的観点から研究を推進することである.研究成果としては,実用的に優れた学習アルゴリズムの構成,さらにその数理的基盤の構築などがある.まず判別分析の代表的なアルゴリズムであるサポートベクトルマシンに対し,損失関数を非凸化した学習法の局所解の性質を数理的に解析し,局所最適解であっても外れ値に強く安定した予測精度を達成することが明らかになった.さらに,離散的なデータに対する統計的解析法を提案し,局所的な計算を用いることで,効率的に推定量を計算することができることを示した.

研究成果の学術的意義や社会的意義

非凸損失を用いる統計的学習は一般に,統計的性質は優れているが,最適化のための計算が非常に困難であることが知られている.最適化の困難を解決することができれば,,データに大きなノイズが含まれる場合でも,非常にロバストな統計的推論を高い計算効率で実行することが可能になる.本研究では,判別分析や離散確率分布の推定という重要な問題クラスに対して,非凸損失による効率的な学習アルゴリズムを提案し,その数理的性質を詳しく研究した.その結果,理論,実装の両面から提案法の有効性を確認することができた.

報告書

(5件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (39件)

すべて 2019 2018 2017 2016 その他

すべて 国際共同研究 (5件) 雑誌論文 (14件) (うち国際共著 3件、 査読あり 14件、 オープンアクセス 7件) 学会発表 (16件) (うち国際学会 6件、 招待講演 8件) 図書 (4件)

  • [国際共同研究] University of Bristol(英国)

    • 関連する報告書
      2019 実績報告書
  • [国際共同研究] Max Plank Institute(ドイツ)

    • 関連する報告書
      2019 実績報告書
  • [国際共同研究] University College London/University of Bristol(英国)

    • 関連する報告書
      2018 実施状況報告書
  • [国際共同研究] Max Planck Institutes(ドイツ)

    • 関連する報告書
      2018 実施状況報告書
  • [国際共同研究] Harvard University(米国)

    • 関連する報告書
      2018 実施状況報告書
  • [雑誌論文] Spectral Embedded Deep Clustering2019

    • 著者名/発表者名
      Wada Yuichiro、Miyamoto Shugo、Nakagama Takumi、Andeol Leo、Kumagai Wataru、Kanamori Takafumi
    • 雑誌名

      Entropy

      巻: 21 号: 8 ページ: 795-795

    • DOI

      10.3390/e21080795

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Robust Label Prediction via Label Propagation and Geodesic k-Nearest Neighbor in Online Semi-Supervised Learning.2019

    • 著者名/発表者名
      Y. Wada, S. Su, W. Kumagai, T. Kanamori,
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102-D ページ: 1537-1545

    • NAID

      130007686445

    • 関連する報告書
      2019 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Variable Selection for Nonparametric Learning with Power Series Kernels2019

    • 著者名/発表者名
      Matsui Kota、Kumagai Wataru、Kanamori Kenta、Nishikimi Mitsuaki、Kanamori Takafumi
    • 雑誌名

      Neural Computation

      巻: 31 号: 8 ページ: 1718-1750

    • DOI

      10.1162/neco_a_01212

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Model Description of Similarity-Based Recommendation Systems2019

    • 著者名/発表者名
      Kanamori Takafumi、Osugi Naoya
    • 雑誌名

      Entropy

      巻: 21 号: 7 ページ: 702-702

    • DOI

      10.3390/e21070702

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Numerical Study of Reciprocal Recommendation with Domain Matching2019

    • 著者名/発表者名
      K. Sudo, N. Osugi, T. Kanamori
    • 雑誌名

      Japanese Journal of Statistics and Data Science

      巻: 2 号: 1 ページ: 221-240

    • DOI

      10.1007/s42081-019-00033-3

    • NAID

      210000170705

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Risk bound of transfer learning using parametric feature mapping and its application to sparse coding2019

    • 著者名/発表者名
      Kumagai Wataru、Kanamori Takafumi
    • 雑誌名

      Machine Learning

      巻: 108 号: 11 ページ: 1975-2008

    • DOI

      10.1007/s10994-019-05805-2

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Mode-Seeking Clustering and Density Ridge Estimation via Direct Estimation of Density-Derivative-Ratios2018

    • 著者名/発表者名
      H. Sasaki, T. Kanamori, A. Hyvarinen, and Masashi Sugiyama,
    • 雑誌名

      Journal of Machine Learning Research

      巻: 18

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Graph-based Composite Local Bregman Divergences on Discrete Sample Spaces2017

    • 著者名/発表者名
      T. Kanamori, T. Takenouchi
    • 雑誌名

      Neural Networks

      巻: 95 ページ: 44-56

    • DOI

      10.1016/j.neunet.2017.06.005

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Robustness of learning algorithms using hinge loss with outlier indicators2017

    • 著者名/発表者名
      Kanamori Takafumi、Fujiwara Shuhei、Takeda Akiko
    • 雑誌名

      Neural Networks

      巻: 94 ページ: 173-191

    • DOI

      10.1016/j.neunet.2017.07.005

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Parallel Distributed Block Coordinate Descent Methods based on Pairwise Comparison Oracle2017

    • 著者名/発表者名
      K. Matsui, W. Kumagai, T. Kanamori
    • 雑誌名

      Journal of Global Optimization

      巻: 69 号: 1 ページ: 1-21

    • DOI

      10.1007/s10898-016-0465-x

    • NAID

      110009971451

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Statistical Inference with Unnormalized Discrete Models and Localized Homogeneous Divergences2017

    • 著者名/発表者名
      T. Takenouchi, T. Kanamori
    • 雑誌名

      Journal of Machine Learning Research

      巻: 18 ページ: 1-26

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] DC Algorithm for Extended Robust Support Vector Machine2017

    • 著者名/発表者名
      Fujiwara Shuhei、Takeda Akiko、Kanamori Takafumi
    • 雑誌名

      Neural Computation

      巻: 29 号: 5 ページ: 1406-1438

    • DOI

      10.1162/neco_a_00958

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Breakdown point of robust support vector machines2017

    • 著者名/発表者名
      Kanamori, T., Fujiwara, S., Takeda, A.
    • 雑誌名

      Entropy

      巻: 19 号: 2 ページ: 83-83

    • DOI

      10.3390/e19020083

    • NAID

      110009971425

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Efficiency bound of local Z-estimators on discrete sample spaces2016

    • 著者名/発表者名
      Kanamori, T.
    • 雑誌名

      Entropy

      巻: 18 号: 7 ページ: 273-273

    • DOI

      10.3390/e18070273

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Fisher Efficient Inference of Intractable Models.2019

    • 著者名/発表者名
      S. Liu, T. Kanamori, W. Jitkrittum, Y. Chen,
    • 学会等名
      The Neural Information Processing Systems (NeurIPS 2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Foundations of transfer learning and its application to multi-center prognostic prediction.2019

    • 著者名/発表者名
      K. Matsui, W. Kumagai, K. Kanamori, M. Nisikimi, S. Matsui, T. Kanamori,
    • 学会等名
      WNAR/IMS/JR Annual Meeting, Portland, Oregon, USA
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Statistical inference with unnormalized models2018

    • 著者名/発表者名
      Takafumi Kanamori
    • 学会等名
      International Symposium on Statistical Theory and Methodology for Large Complex Data
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] 変数選択付きカーネル密度比推定に基づく多施設の予後予測解析2018

    • 著者名/発表者名
      松井 孝太,熊谷 亘,金森 研太,錦見 満暁,金森 敬文
    • 学会等名
      統計関連学会連合学会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Variable Selection Consistency in Kernel Methods using shrinkage parameters2018

    • 著者名/発表者名
      Takafumi Kanamori, Kota Matsui, Wataru Kumagai, Kenta Kanamori
    • 学会等名
      統計関連学会連合学会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] カーネル法における変数選択2018

    • 著者名/発表者名
      金森敬文
    • 学会等名
      大規模統計モデリングと計算統計V
    • 関連する報告書
      2018 実施状況報告書
    • 招待講演
  • [学会発表] カーネル法における変数選択の一致性2018

    • 著者名/発表者名
      金森敬文
    • 学会等名
      研究集会「実験計画法ならびに情報数理と関連する組合せ構造 2018」
    • 関連する報告書
      2018 実施状況報告書
    • 招待講演
  • [学会発表] Parallel Distributed Block Coordinate Descent Methods Based on Pairwise Comparison Oracle2017

    • 著者名/発表者名
      K. Matsui, W. Kumagai, T. Kanamori
    • 学会等名
      the 2017 INFORMS ANNUAL MEETING
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Estimating Density Ridges by Direct Estimation of Density-Derivative-Ratios2017

    • 著者名/発表者名
      Hiroaki Sasaki, Takafumi Kanamori and Masashi Sugiyama,
    • 学会等名
      the 20th International Conference on Artificial Intelligence and Statistics
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] パラメータ転移学習におけるリスク上界2017

    • 著者名/発表者名
      熊谷 亘,金森 敬文
    • 学会等名
      統計関連学会連合大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 局所情報による統計的推論2017

    • 著者名/発表者名
      金森 敬文
    • 学会等名
      統計関連学会連合大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Bregman divergence and its Applications2016

    • 著者名/発表者名
      金森敬文
    • 学会等名
      情報理論とその応用シンポジウム
    • 発表場所
      岐阜
    • 年月日
      2016-12-13
    • 関連する報告書
      2016 実施状況報告書
    • 招待講演
  • [学会発表] Statistical Inference using Graph-based Divergences on Discrete Sample Spaces2016

    • 著者名/発表者名
      Takafumi Kanamori
    • 学会等名
      International Symposium on Statistical Analysis for Large Complex Data
    • 発表場所
      筑波大学
    • 年月日
      2016-11-21
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] グラフ上の局所ブレグマンダイバージェンスによる統計的推定2016

    • 著者名/発表者名
      金森敬文, 竹之内高志
    • 学会等名
      情報論的学習理論研究会
    • 発表場所
      京都大学
    • 年月日
      2016-11-16
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 離散空間上のグラフ構造に基つく 局所ブレグマンダイバージェンス2016

    • 著者名/発表者名
      金森敬文, 竹之内高志
    • 学会等名
      統計関連学会連合大会
    • 発表場所
      金沢大学
    • 年月日
      2016-09-05
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] ダイバージェンスによる統計的推論2016

    • 著者名/発表者名
      金森敬文, 藤澤洋徳
    • 学会等名
      統計関連学会連合大会
    • 発表場所
      金沢大学
    • 年月日
      2016-09-05
    • 関連する報告書
      2016 実施状況報告書
    • 招待講演
  • [図書] Pythonで学ぶ統計的機械学習2018

    • 著者名/発表者名
      金森敬文
    • 総ページ数
      252
    • 出版者
      オーム社
    • ISBN
      9784274223051
    • 関連する報告書
      2018 実施状況報告書
  • [図書] Rによる機械学習入門2017

    • 著者名/発表者名
      金森 敬文
    • 総ページ数
      260
    • 出版者
      オーム社
    • ISBN
      9784274221125
    • 関連する報告書
      2017 実施状況報告書
  • [図書] 機械学習のための連続最適化2016

    • 著者名/発表者名
      金森 敬文, 鈴木 大慈, 竹内 一郎, 佐藤 一誠
    • 総ページ数
      213
    • 出版者
      講談社
    • 関連する報告書
      2016 実施状況報告書
  • [図書] モデリングの諸相2016

    • 著者名/発表者名
      室田一雄, 池上敦子, 土谷隆, 山下浩, 蒲地 政文, 畔上秀幸, 斉藤努, 枇々木規雄, 滝根哲哉, 金森敬文
    • 総ページ数
      35
    • 出版者
      近代科学社
    • 関連する報告書
      2016 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi