2013 Fiscal Year Annual Research Report
大規模なスパースモデリングへの統計力学的アプローチ
| Project Area | Initiative for High-Dimensional Data-Driven Science through Deepening of Sparse Modeling |
|---|
| Project/Area Number |
25120013
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
樺島 祥介 東京工業大学, 総合理工学研究科(研究院), 教授 (80260652)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井上 純一 北海道大学, 情報科学研究科, 准教授 (30311658)
渡邊 澄夫 東京工業大学, 総合理工学研究科(研究院), 教授 (80273118)
|
|---|
| Project Period (FY) |
2013-06-28 – 2018-03-31
|
| Keywords | 圧縮センシング / 潜在変数モデリング / レプリカ法 / 平均場近似 / 特異モデル |
|---|
| Research Abstract |
【圧縮センシング】従来，圧縮センシングの理論研究では，要素毎に独立な乱数からなる観測行列を対象としたものがほとんどであった．これについて以下３つの展開を試みた．(a)ランダムに構成される直交行列に拡張した．その結果，観測ノイズの存在する場合については従来の独立な乱数を要素に持つ観測行列よりも優れた信号復元性能を示すことが明らかになった．また，直交性を高めたこうした観測行列に対する近似的信号復元法を統計力学の平均場近似にもとづいて開発した．(b)任意の観測行列についてl1ノルムの最小化を信号長の自乗程度で実行する平均場近似によるアルゴリズムについて性能向上へ向けた動作解析を行った．(c)実データへの応用として，ポートフォリオに基づく各金融商品を構成する各銘柄の値動きを並べて疎ベクトルとみなし, ポートフォリオ行列と金融商品価格が与えた際, 背後の疎ベクトルの推定法を圧縮センシングとして定式化した.
【潜在変数モデリング】辞書学習を主な対象として，２つの行列の積が与えられた際に，その積のみにもとづいて元の２つの行列を再構成するために必要な条件に関する統計力学的な分析をおこなった．また，平均場近似にもとづいて行列分解に関する近似的アルゴリズムを構成した．
【モデル選択】情報源の個数が不明であるときには，情報行列が零固有値を持つため，従来の統計的方法を用いることができないことが知られている．本研究では，情報行列が非可逆であっても用いることができる WAIC が通常の漸近理論よりも広範囲で使用可能であることを示した．また，対数周辺尤度関数（自由エネルギー）を数値的に計算できる方法 WBIC について交換モンテカルロ法を用いた精度の検証を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画に記した３つの課題ごとに理由を記す．
【圧縮センシング】当初計画に記した直交行列を利用した観測行列に対するノイズ下での性能分析に成功した．その結果，ノイズなしの場合には要素毎に独立なランダム行列と同等であった信号復元性能がノイズ下では直交行列の方が優れている，ことを明らかにした．この成果は，当該研究における従来の常識からは意外性を以って受け止められており情報理論の代表的国際会議であるISIT2014に高い評価を受けて採択された．
【潜在変数モデリング】辞書学習を念頭に“正解のある場合”の行列分解問題について一般的な理論解析の枠組みを与えた．この成果を包括的な論文としてとりまとめ，arXiv:1402.1298 として公開することができた．
【モデル選択】統計モデルに関して情報行列に特性が生じる場合は，様々な状況が想定される．研究分担者の渡辺はこれらを包括的に取り扱えるモデル選択の指標として WAICを最近提案したが，この有効性の検証を様々なモデルに適用することで進めることができた．
|
| Strategy for Future Research Activity |
【圧縮センシング】：信号処理の分野では，次元数より多くのベクトルを辞書行列として用いる過完備基底によりスパース表現が得られ，ノイズ低減，情報圧縮等に用いられている．こうした技術に対する数学的な検討も行われているが，典型時の性能についての理論的知見はまだ十分に得られていない．そこで，ランダムな過完備基底を用いた場合の典型的性能をレプリカ法により評価する．また，ランダムに与えた信号に対して，過完備基底によりスパース表現を求める問題について平均場近似にもとづくアルゴリズムの開発を試みる．
【潜在変数モデリング】前年度は，辞書学習を主な例として行列分解の問題一般に対するサンプル複雑度の評価に取り組んだ．この問題では，データは真の行列の組の積として表現できることを仮定していた．しかしながら，現実のデータは真の行列の組の積として必ず表現できるとは限らない．そこで，今年度はランダムに与えたデータ行列をなるべく歪みが小さくなるように２つの行列の積で近似する問題について取り組む．
【モデル選択】さらに多くのモデルに適用することでWAICの有効性の進める．加えて，実データのクラス分類の問題を念頭に，高次元データについてクラス分類に用いる次元の選択と分類可能性との関係について統計力学的な分析を行い，従来理論による結果との差異を吟味する．
|
