• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実績報告書

大規模なスパースモデリングへの統計力学的アプローチ

計画研究

研究領域スパースモデリングの深化と高次元データ駆動科学の創成
研究課題/領域番号 25120013
研究機関東京工業大学

研究代表者

樺島 祥介  東京工業大学, 情報理工学院, 教授 (80260652)

研究分担者 竹田 晃人  茨城大学, 工学部, 准教授 (70397040)
渡邊 澄夫  東京工業大学, 情報理工学院, 教授 (80273118)
坂田 綾香  統計数理研究所, モデリング研究系, 助教 (80733071)
研究期間 (年度) 2013-06-28 – 2018-03-31
キーワード圧縮センシング / 潜在変数モデリング / レプリカ法 / 平均場近似 / 特異モデル
研究実績の概要

以下の研究を行った.
【課題1】圧縮センシング:(i) LASSO推定には1) L1正則化の影響により,推定量にバイアスが生じる(期待値が真値と有限の大きさずれる),2)点推定であるため信頼区間が得られない,という欠点がある.我々は,観測行列に対するグラム行列が直交行列の一様分布からの無作為サンプルとして特徴づけられる固有基底を有する場合に,バイアスを補正し,また,信頼区間を与える方法を開発した. (ii) 線形回帰に関する非凸スパース正則化に対して確率伝搬法を適用し,正則化が非凸であってもレプリカ対称性が成り立つ領域が存在することを示した.さらに,確率伝搬法の収束条件を導出し,レプリカ法におけるRS/RSB転移と対応することを示した.
【課題2】潜在変数モデリング:行列疎性を含む行列分解問題に関し,変分ベイズ法の定式化に基づき近似的解析解を導出した.また行列積を疎行列に適切に分解する為の事前分布中のパラメータの調整法を確立した.加えて解析解を数値的に求める際のアルゴリズムの挙動についても調べた.また,非負値行列分解の平均場近似における自由エネルギーの挙動を理論的に解明し事前分布の設定に使われるハイパーパラメータの変化に応じて相転移が生じることを示した
【課題3】モデル選択:スパース線形回帰問題に対し,汎用的なモデル選択指標である1つぬき交差検証誤差をモンテカルロ法にもとづいて効率的に求めるアルゴリズムを開発した.また,この指標がデータ数/推定すべきパラメータ数が必ずしも十分大きくない非漸近領域においても汎化損失の精度の良い推定量になっていることを実験的に確認した.

現在までの達成度 (段落)

29年度が最終年度であるため、記入しない。

今後の研究の推進方策

29年度が最終年度であるため、記入しない。

  • 研究成果

    (23件)

すべて 2018 2017 その他

すべて 国際共同研究 (1件) 雑誌論文 (8件) (うち国際共著 2件、 査読あり 6件、 オープンアクセス 3件) 学会発表 (14件) (うち国際学会 4件、 招待講演 3件)

  • [国際共同研究] マサチューセッツ工科大学/ハーバード大学(米国)

    • 国名
      米国
    • 外国機関名
      マサチューセッツ工科大学/ハーバード大学
  • [雑誌論文] Comparative analysis on the selection of number of clusters in community detection2018

    • 著者名/発表者名
      Tatsuro Kawamoto and Yoshiyuki Kabashima
    • 雑誌名

      Physical Review E

      巻: 97 ページ: 022315(1-20)

    • DOI

      10.1103/PhysRevE.97.022315

    • 査読あり / オープンアクセス
  • [雑誌論文] Approximate Method of Variational Bayesian Matrix Factorization/Completion with Sparse Prior2018

    • 著者名/発表者名
      Ryota Kawasumi and Koujin Takeda
    • 雑誌名

      Journal of Statistical Mechanics: Theory and Experimen

      巻: 2018 ページ: to appear

    • 査読あり
  • [雑誌論文] Accelerating cross-validation with total variation and its application to super-resolution imaging2017

    • 著者名/発表者名
      Obuchi Tomoyuki, Ikeda Shiro, Akiyama Kazunori and Kabashima Yoshiyuki
    • 雑誌名

      PLOS ONE

      巻: 12 ページ: e0188012(1-14)

    • DOI

      10.1371/journal.pone.0188012

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Cross-validation estimate of the number of clusters in a network2017

    • 著者名/発表者名
      Kawamoto Tatsuro、Kabashima Yoshiyuki
    • 雑誌名

      Scientific Reports

      巻: 7 ページ: 3327(1-17)

    • DOI

      doi:10.1038/s41598-017-03623-x

    • 査読あり
  • [雑誌論文] Approximate method of variational Bayesian matrix factorization with sparse prior2017

    • 著者名/発表者名
      Kawasumi Ryota and Takeda Koujin
    • 雑誌名

      Proc. of 2017 IEEE 27th International Workshop on Machine Learning for Signal Processing (MLSP)

      巻: なし ページ: 1-4

    • DOI

      10.1109/MLSP.2017.8168156

    • 査読あり
  • [雑誌論文] PCD法に基づいた畳み込み制約付きボルツマンマシンの学習法の改良2017

    • 著者名/発表者名
      石涼介,須田玲輝,竹田晃人
    • 雑誌名

      IEICE Technical Report

      巻: 117 no. 293 ページ: 251-254

  • [雑誌論文] 2つの疎な行列からなる行列分解問題の変分ベイズ法による解析法の検討2017

    • 著者名/発表者名
      玉井智貴,竹田晃人
    • 雑誌名

      IEICE Technical Report

      巻: 117 no. 293 ページ: 297-300

  • [雑誌論文] Approximate message passing for nonconvex sparse regularization with stability and asymptotic analysis2017

    • 著者名/発表者名
      Ayaka Sakata and Yingying Xu
    • 雑誌名

      Journal of Statistical Mechanics: Theory and Experiment

      巻: 2017 ページ: 033404(1-35)

    • DOI

      https://doi.org/10.1088/1742-5468/aab051

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 統計力学と統計学の形式的な相違点を考えることに物理学の課題があるだろうか2018

    • 著者名/発表者名
      渡辺澄夫
    • 学会等名
      統計物理学懇談会
    • 招待講演
  • [学会発表] 非凸スパース正則化に対する確率伝搬法と収束条件2018

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      日本物理学会第73回年次大会
  • [学会発表] Statistical mechanics approach to compressed sensing2017

    • 著者名/発表者名
      Yoshiyuki Kabashima
    • 学会等名
      Workshop on "Theoretical Comp. Sci. and Statistical Physics methods in Machine Learning" at International Center for Theoretical Sciences (ICTS-TIFR), Bengaluru, India, Dec 26-30, 2017
    • 国際学会 / 招待講演
  • [学会発表] スパース線形回帰のエネルギーランドスケープ解析2017

    • 著者名/発表者名
      小渕智之, 中西(大野)義典, 岡田真人, 樺島祥介
    • 学会等名
      日本物理学会 2017年秋季大会
  • [学会発表] 疎性制約を軟化した模擬徐冷による変数選択2017

    • 著者名/発表者名
      林華央, 小渕智之, 樺島祥介
    • 学会等名
      日本物理学会 2017年秋季大会
  • [学会発表] キャビティ法に基づく近似的ランク1行列補完2017

    • 著者名/発表者名
      野口千尋, 樺島祥介
    • 学会等名
      日本物理学会第73回年次大会
  • [学会発表] 適応Tholess-Anderson-Palmer法によるLASSO解の統計的不確かさ評価手法の開発2017

    • 著者名/発表者名
      高橋昂, 樺島祥介
    • 学会等名
      日本物理学会第73回年次大会
  • [学会発表] Phase Transition Structure of Variational Bayesian Nonnegative Matrix Factorization2017

    • 著者名/発表者名
      Kunihiro Kohjima, Sumio Watanabe.
    • 学会等名
      26th International Conference on Artificial Neural Networks
    • 国際学会
  • [学会発表] Difference between Bayes Cross Validation and WAIC for Conditional Independent Samples2017

    • 著者名/発表者名
      Sumio Watanabe
    • 学会等名
      The Tenth Workshop on Information Theoretic Methods in Science and Engineering
    • 国際学会 / 招待講演
  • [学会発表] 変化点検出問題におけるベイズ検定統計量の導出と検出力の実験的考察2017

    • 著者名/発表者名
      大橋耕也、渡辺澄夫
    • 学会等名
      第116回数理モデル化と問題解決(MPS)研究会
  • [学会発表] LASSOにおけるAICの揺らぎとブートストラップ法による近似2017

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      2017年統計関連学会連合大会
  • [学会発表] L1正則化におけるAICのブートストラップ補正と分布の評価2017

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      日本物理学会2017年秋季大会
  • [学会発表] 非凸スパース正則化に対する確率伝搬法とその収束条件2017

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      IBIS2017(第20回情報論的学習理論ワークショップ)
  • [学会発表] Approximate message passing for nonconvex sparse regularization and its convergence condition2017

    • 著者名/発表者名
      坂田綾香
    • 学会等名
      ISI-ISM-ISSAS joint conference
    • 国際学会

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi