• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

非凸スパース正則化の統計力学による解析

研究課題

研究課題/領域番号 16K16131
研究種目

若手研究(B)

配分区分基金
研究分野 ソフトコンピューティング
研究機関統計数理研究所

研究代表者

坂田 綾香  統計数理研究所, 数理・推論研究系, 助教 (80733071)

研究協力者 Xu Yingying  
小渕 智之  
研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2018年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2017年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2016年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワードスパース推定 / 非凸正則化 / 統計物理 / 圧縮センシング / 交差検証法 / 非凸スパース正則化 / 確率伝搬法 / レプリカ法 / 相転移 / 情報量規準 / スパース正則化 / 情報量基準
研究成果の概要

非凸正則化を用いたスパース推定は、凸正則化を用いたスパース推定よりも高い圧縮性能を与えることが示唆されている。しかし、パラメータ値によっては局所解が多数出現する難しさがある。そこで、局所解が出現する条件を理論的に導出し、また大域的安定解が存在する領域で効率的に推定問題を解く方法が求められてきた。本研究では、統計力学の手法を用いて、局所解が多数出現するパラメータ領域を特定した。また確率伝搬法と呼ばれるアルゴリズムを用いて、非凸正則化つきの推定問題を凸正則化と同じ計算コストで解くことができることを示した。

研究成果の学術的意義や社会的意義

非凸正則化は高いポテンシャルを持つものの、数学的に扱いにくいという問題点があった。本研究では、その数学的困難を統計力学的手法により解決し、凸正則化と同様に扱うことができる条件を特定した。また、収束条件を導出することができる確率伝搬法を非凸正則化に導入したことで、適切な正則化パラメータの選び方が明らかになった。また低コストで予測誤差を評価することが可能となり、予測に基づくモデリング方法も整った。これらの研究結果は、非凸正則化を用いた新しい推定方法を広く利用可能とするものであり、データ駆動科学に大きく貢献すると考える。

報告書

(4件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (18件)

すべて 2018 2017 2016 その他

すべて 国際共同研究 (2件) 雑誌論文 (4件) (うち国際共著 2件、 査読あり 4件、 オープンアクセス 4件、 謝辞記載あり 2件) 学会発表 (12件) (うち国際学会 2件)

  • [国際共同研究] Aalto University(フィンランド)

    • 関連する報告書
      2018 実績報告書
  • [国際共同研究] Aalto university(フィンランド)

    • 関連する報告書
      2017 実施状況報告書
  • [雑誌論文] Estimator of prediction error based on approximate message passing for penalized linear regression2018

    • 著者名/発表者名
      Ayaka Sakata
    • 雑誌名

      Journal of Statistical Mechanics: Theory and Experiment

      巻: 2018 号: 6 ページ: 063404-063404

    • DOI

      10.1088/1742-5468/aac910

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Approximate message passing for nonconvex sparse regularization with stability and asymptotic analysis2017

    • 著者名/発表者名
      Ayaka Sakata and Yingying Xu
    • 雑誌名

      Journal of Statistical Mechanics: Theory and Experiment

      巻: 2017 号: 3 ページ: 033404-033404

    • DOI

      10.1088/1742-5468/aab051

    • 関連する報告書
      2018 実績報告書 2017 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Phase transitions and sample complexity in Bayes-optimal matrix factorization2016

    • 著者名/発表者名
      Y. Kabashima, F. Krzakala, M. Mezard, A. Sakata, and L. Zdeborova
    • 雑誌名

      IEEE Transactions on Information Theory

      巻: 62(7) 号: 7 ページ: 4228-4265

    • DOI

      10.1109/tit.2016.2556702

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
  • [雑誌論文] Evaluation of Generalized Degrees of Freedom for Sparse Estimation by Replica Method2016

    • 著者名/発表者名
      Ayaka Sakata
    • 雑誌名

      Journal of Statistical Mechanics: Theory and Experiment

      巻: 2016 号: 12 ページ: 1-29

    • DOI

      10.1088/1742-5468/2016/12/123302

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [学会発表] 非凸正則化付き線形回帰における復号性能2018

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      日本物理学会2018年秋季大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Model selection under SCAD and MCP based on approximate message passing2018

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      2018年度統計関連学会連合大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] スパース推定におけるモデル選択規準2018

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      SITA2018
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 非凸性制御下での非凸制約最小化による信号復元2018

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      最適化:モデリングとアルゴリズム
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Cross validation in sparse linear regression with piecewise nonconvex penalties and its acceleration2018

    • 著者名/発表者名
      Ayaka Sakata
    • 学会等名
      The 4th ISM-ZIB-IMI workshop on mathematical optimization and data analysis
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 非凸スパース正則化に対する確率伝搬法と収束条件2018

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      日本物理学会第73回年次大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] LASSOにおけるAICの揺らぎ2017

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      日本物理学会
    • 発表場所
      大阪大学
    • 年月日
      2017-03-17
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Fluctuation of AIC in LASSO and its approximation by bootstrap method2017

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      2017年統計関連学会連合大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] L1正則化におけるAICのブートストラップ補正と分布の評価2017

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      日本物理学会2017年秋季大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 非凸スパース正則化に対する確率伝搬法とその収束条件2017

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      IBIS2017
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Approximate message passing for nonconvex sparse regularization and its convergence condition2017

    • 著者名/発表者名
      Ayaka Sakata
    • 学会等名
      ISI-ISM-ISSAS joint conference
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] スパース正則化におけるモデル選択規準の評価2016

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      日本物理学会
    • 発表場所
      金沢大学
    • 年月日
      2016-09-13
    • 関連する報告書
      2016 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi