2008 Fiscal Year Annual Research Report
制約つき最適化による高次元スパースコーディングの学習
| Project/Area Number |
19700219
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
前田 新一 Kyoto University, 情報学研究科, 助教 (20379530)
|
|---|
| Keywords | ボルツマンマシン / autoencoder / contrastive divergence / pretraining / 自由エネルギー最小化 |
|---|
| Research Abstract |
本研究では、Hintonら(2006)が提案した高次元パラメータをもつautoencoderの学習手法であるpretrainingの理論解析と、その改良を行い、実問題に適用することを目的としている。従来、高次元パラメータの学習には、過学習の問題や、局所解の問題があるため、限界があるとされていたが、Hintonらの方法によると、数百万次元におよぶ高次元パラメータの学習が可能となっている。この効果は、我々の実験によっても確かめられた。しかしながら、pretrainingで用いられている学習アルゴリズムの根拠や収束性は明らかになっていない。我々は、autoencoderとして用いられている階層型restricted Boltzmann machineのもつ特徴的な構造である、階層間のマルコフ性に着目し、pretrainingに用いられている学習アルゴリズムの解析を行った。その結果、pretrainingに用いられるアルゴリズムのコスト関数であるcontrastive divergenceは、マルコフ連鎖における平衡分布と経験分布とをある一定の条件のもとで近づける効果をもつコスト関数であることが示された。この解析結果をもとに、マルコフ連鎖における平衡分布と経験分布の差を自由エネルギー最小化の観点から新しく収束性の保証された学習アルゴリズムの導出の提案を行った。
|
