2007 Fiscal Year Annual Research Report
制約つき最適化による高次元スパースコーディングの学習
| Project/Area Number |
19700219
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
前田 新一 Nara Institute of Science and Technology, 情報科学研究科, 助教 (20379530)
|
|---|
| Keywords | EMアルゴリズム / 自由エネルギー最小化 / companding function / autoencoder / ボルツマンマシン |
|---|
| Research Abstract |
Hintonら(2006)は、数百万次元にもおよぶ高次元パラメータの学習を行わせautoencoderの学習方法を提案しているが、それがどのような原理でうまく働くのかは明らかになっていない。本研究課題では、その計算原理を明らかにするとともに高次元なパラメータをもつ学習器の最適化手法や過学習、局所解を回避するような制約の入れ方について研究を行う。autoencoderは、数多くの隠れ変数をもつ学習器であるが、隠れ変数をもつ統計モデルには一般的にはEMアルゴリズムが適用される。本年度は、EMアルゴリズムの学習速度について考察し、その学習速度を大幅に改善するアルゴリズムの研究を行った。解析では、EMアルゴリズムがcooridinate descent algorithmであるという視点のもと収束点付近での収束速度を解析し、従来から知られているEMアルゴリズムの学習が極端に遅くなる現象が最適化手法としてのcoordinate descent algorithmの破綻に起因することを明らかにすることができた。そのため、そのような場合にcoordinate descent algorithmに代わる自由エネルギーの同時最小化アルゴリズムを適用することで収束速度が大幅に改善できることが確認できた。また、autoencoderは符号化アルゴリズムと密接な関係をもつ点に着目し、同様のアーキテクチャをもつアルゴリズムにより符号器の学習を行った。ベクトル量子化では次元辺りのビット数が固定されているとき高次元の入力情報を符号化する際には、指数的に符号化すべき符号語が増えるため学習が破綻する。そこで符号器にcompanding functionという制約をもったアーキテクチャを採用することでベクトル量子化では学習できないような高次元入力情報の圧縮が可能であることが示せた。
|
