• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Annual Research Report

Partial annealingによるブラインド圧縮センシングの統計力学的解析

Research Project

Project/Area Number 11J04665
Research InstitutionTokyo Institute of Technology

Principal Investigator

坂田 綾香  東京工業大学, 大学院総合理工学研究科, 特別研究員(PD)

KeywordsDictionary Learning / belief propation / 圧縮センシング / レプリカ法
Research Abstract

Dictionary Learningとは、信号がスパースに表現されるための基底を学習する問題である。dictionary learningはブラインド圧縮センシングの手続きの一部でもある。これまで我々は、統計力学の手法を用いて、dictionaryを学習するために必要なサンプルデータの数(sample complexity)を見積もってきた。学習の失敗/成功はサンプル数に関する相転移現象として物理的に解釈できることが、これまでの研究で明らかとなった。
学習に必要なサンプル数は学習則に依存する。昨年度の研究で、我々は最も高い性能を与える最適な学習則を用いた際のsample complexityを見積もった。この学習則のもとでのsample complexityは、あらゆる学習則のもとでのsample complexityの下限に対応する。この研究では、レプリカ法と呼ばれる統計力学的手法を用いて、学習が成功したと仮定した場合のdictionary空間の構造を解析することで、sample complexityを見積もった。
本年度は、昨年度までのレプリカ法による解析結果を基に、実際に学習の成功をもたらすアルゴリズムの開発についての研究を行った。dictionary learningにおける既存のアルゴリズムとしては、スパース性を考慮したうえで特異値分解を用いてdictionaryを学習する手法がある。この手法は十分なサンプル数が与えられていれば良い性能を与えることが知られているが、そのサンプル数は我々が導出したsample complexityの理論予想よりも大きい。そこで、理論予想を達成するアルゴリズムの開発を試みた。
我々が開発したアルゴリズムは、belief propagationと呼ばれる手法に基づくものである。一般的に、レプリカ法とbelief propagationにはある種の対応関係が存在することが知られている。dictionary learningに対してbelief propagationアルゴリズムを書き下した結果、既存のアルゴリズムよりも少ないサンプル数で良い性能を与えることが明らかとなった。

Strategy for Future Research Activity

(抄録なし)

  • Research Products

    (10 results)

All 2014 2013

All Journal Article (3 results) (of which Peer Reviewed: 3 results) Presentation (7 results)

  • [Journal Article] Time evolution of autocorrelation function in dynamical replica theory2013

    • Author(s)
      Ayaka Sakata
    • Journal Title

      Journal of Physics A : Mathematical and Theoretical

      Volume: 46 Pages: 165001-1-165001-18

    • DOI

      10.1088/1751-8113/46/16/165001

    • Peer Reviewed
  • [Journal Article] Statistical mechanics of dictionary learning2013

    • Author(s)
      Ayaka Sakata, Yoshiyuki Kabashima
    • Journal Title

      Europhysics Letters

      Volume: 103 Pages: 28008-1-28008-6

    • DOI

      10.1209/0295-5075/103/28008

    • Peer Reviewed
  • [Journal Article] Sample complexity of Bayesian optirnal dictionary learning2013

    • Author(s)
      Ayaka Sakata and Yoshiyuki Kabashima
    • Journal Title

      IEEE ISIT proceedings

      Volume: 2013 Pages: 669-673

    • DOI

      10.1109/ISIT.2013.6620310

    • Peer Reviewed
  • [Presentation] 統計力学的アルゴリズムによる非線形疎性の抽出2014

    • Author(s)
      坂田綾香、樺島祥介
    • Organizer
      日本物理学会第69回年次大会
    • Place of Presentation
      東海大学
    • Year and Date
      2014-03-28
  • [Presentation] ベイズ最適な辞書学習に対するサンプル複雑度の評価2013

    • Author(s)
      坂田綾香、樺島祥介
    • Organizer
      第36回情報理論とその応用シンポジウム(SITA2013)
    • Place of Presentation
      伊東ホテル聚楽
    • Year and Date
      2013-11-29
  • [Presentation] ベイズ最適なdictionary learningの統計力学2013

    • Author(s)
      坂田綾香、樺島祥介
    • Organizer
      第16回情報論的学習理論ワークショップ(IBIS2013)
    • Place of Presentation
      東京工業大学
    • Year and Date
      2013-11-12
  • [Presentation] 最適な学習則によるdictlonary learningのサンプル複雑度2013

    • Author(s)
      坂田綾香、樺島祥介
    • Organizer
      日本物理学会2013年秋季大会
    • Place of Presentation
      徳島大学
    • Year and Date
      2013-09-27
  • [Presentation] Time evolution of autocorrelation function in dynamical replica theory2013

    • Author(s)
      Ayaka Sakata
    • Organizer
      ICSG2013
    • Place of Presentation
      北海道大学
    • Year and Date
      2013-07-29
  • [Presentation] Statistical Mechanical Analysis of Bayesian Optimal Dictionary Learning2013

    • Author(s)
      Ayaka Sakata and Yoshiyuki Kabashima
    • Organizer
      STATPHYS25
    • Place of Presentation
      ソウル大学(韓国)
    • Year and Date
      2013-07-27
  • [Presentation] Sample Complexity of Bayesian Optimal Dictionary Leaming2013

    • Author(s)
      Ayaka Sakata and Yoshiyuki Kabashima
    • Organizer
      IEEE International Symposium on Information Theory
    • Place of Presentation
      Istanbul Conference and Exhibition Center(トルコ)
    • Year and Date
      2013-07-08

URL: 

Published: 2015-07-15  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi