2014 Fiscal Year Annual Research Report
行列分解・非線形行列分解の統計力学とオートエンコーダの理論解析
| Project/Area Number |
26880028
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
坂田 綾香 統計数理研究所, 大学共同利用機関等の部局等, 助教 (80733071)
|
|---|
| Project Period (FY) |
2014-08-29 – 2016-03-31
|
| Keywords | スパース性 / 制限等長性 / 圧縮センシング / レプリカ法 |
|---|
| Outline of Annual Research Achievements |
平成26年度の研究では、一般の行列分解に対してbelief propagation アルゴリズムを構成した。さらにカーネル辞書学習と呼ばれる問題を扱い、belief propagationアルゴリズムを、カーネル関数を含む場合に拡張する方法を提案した。これにより、低ランク近似やオートエンコーダを含む、行列分解として表せる問題に対してのアルゴリズムを提案することに成功した。いくつかの例題においては、既存手法より良い結果を示すことを明らかにした。カーネル法を組み合わせることで、より複雑な構造を持つデータに対しても適用可能なアルゴリズムを提案することができたと考える。この結果は、いくつかの学会において発表した。
またスパース性を利用した情報処理の枠組みである圧縮センシングについての研究を開始した。圧縮センシングにおいて完全再構成条件を与える制限等長定数評価について、統計力学的な手法により評価が可能であるという点に着目し、新しい評価方法を提案した。まずはガウシアンランダム行列において制限等長定数を評価した。その結果、レプリカ対称性と呼ばれる仮定下でも、既存研究よりも精度の良い評価を得ることに成功した。また交換モンテカルロ法を用いることで、数値的にも制限等長定数の評価が可能であるということを示した。
物理的な考察から、レプリカ対称性の破れを考慮することで、さらに制度の良い制限等長定数の評価が可能であるということも示した。平成27年度の研究では、レプリカ対称性の破れを考慮したより高い精度の制限等長定数の評価を実現し、物理的な描像を得ることを目標とする。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は、行列分解問題について統計力学的アプローチにより統一的理論を構成し、物理的描像を明らかにすることを目標としている。そして行列分解とカーネル法を組み合わせた非線形行列分解を提案し、オートエンコーダの性能解析に応用することを目指している。平成26年度に研究した、行列分解に非線形性を取り込むためのbelief propagationアルゴリズムの開発については、当初の予定通りに進展した。テストデータに対して応用した結果、既存の方法よりも高い性能を示す例が存在した。様々な行列分解問題に適用可能なアルゴリズムを開発したことで、情報科学における様々な問題群の統一的な理解につながると考える。以上の結果はいくつかの研究会で発表を行い、国内外の研究者に対して周知した。
また当初の予定では想定していなかった、制限等長定数評価に関する研究が大きく進展した。この研究は、上記の行列分解に関する研究発表のために参加した国際会議において仕入れた情報が元となっており、当初の研究計画をさらに発展させることができたと考えている。平成26年度に行った解析の範囲内でも、既存の研究結果を大きく改善する結果が得られており、研究はおおむね順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
平成26年度の研究成果について、まずはbelief propagationアルゴリズムについての結果を論文化し、周知を図る必要がある。これにより、国内外の研究者との共同研究が進展すると考えられる。
また制限等長定数評価については、レプリカ対称性の破れを考慮した解析を行う必要がある。そのためには、平成26年度の解析結果を含むように、理論を拡張しなければならない。一般にレプリカ対称性の破れ(replica symmetry breaking, RSB)には、「1 step RSB (1RSB)」と「Full step RSB (FRSB)」が存在すると考えられている。レプリカ対称領域から1RSB, FRSBへの転移はそれぞれ異なる物理的描像を持つが、制限等長定数評価においてはどちらの転移が起こるのかを明らかにすることを目指す。また、RSBを考慮した解析を通して、平成26年度に導出したレプリカ対称性仮定下の制限等長定数が、バウンドとしての意味を持つのかどうかを明らかにすることも重要である。いくつかの系では、RS, 1RSB, FRSB仮定下の自由エネルギーについての不等式が成立することが示されている。同様の性質が制限等長定数についても成立するのかどうかを示すことは、理論物理としてだけではなく、実用上も大きな意味を持つことである。
|
