研究課題
Dictionary Learningとは、信号がスパースに表現されるための基底を学習する問題である。dictionary learningはブラインド圧縮センシングの手続きの一部でもある。これまで我々は、統計力学の手法を用いて、dictionaryを学習するために必要なサンプルデータの数(sample complexity)を見積もってきた。学習の失敗/成功はサンプル数に関する相転移現象として物理的に解釈できることが、これまでの研究で明らかとなった。学習に必要なサンプル数は学習則に依存する。昨年度の研究で、我々は最も高い性能を与える最適な学習則を用いた際のsample complexityを見積もった。この学習則のもとでのsample complexityは、あらゆる学習則のもとでのsample complexityの下限に対応する。この研究では、レプリカ法と呼ばれる統計力学的手法を用いて、学習が成功したと仮定した場合のdictionary空間の構造を解析することで、sample complexityを見積もった。本年度は、昨年度までのレプリカ法による解析結果を基に、実際に学習の成功をもたらすアルゴリズムの開発についての研究を行った。dictionary learningにおける既存のアルゴリズムとしては、スパース性を考慮したうえで特異値分解を用いてdictionaryを学習する手法がある。この手法は十分なサンプル数が与えられていれば良い性能を与えることが知られているが、そのサンプル数は我々が導出したsample complexityの理論予想よりも大きい。そこで、理論予想を達成するアルゴリズムの開発を試みた。我々が開発したアルゴリズムは、belief propagationと呼ばれる手法に基づくものである。一般的に、レプリカ法とbelief propagationにはある種の対応関係が存在することが知られている。dictionary learningに対してbelief propagationアルゴリズムを書き下した結果、既存のアルゴリズムよりも少ないサンプル数で良い性能を与えることが明らかとなった。
(抄録なし)
すべて 2014 2013
すべて 雑誌論文 (3件) (うち査読あり 3件) 学会発表 (7件)
Journal of Physics A : Mathematical and Theoretical
巻: 46 ページ: 165001-1-165001-18
10.1088/1751-8113/46/16/165001
Europhysics Letters
巻: 103 ページ: 28008-1-28008-6
10.1209/0295-5075/103/28008
IEEE ISIT proceedings
巻: 2013 ページ: 669-673
10.1109/ISIT.2013.6620310
