Hintonら(2006)が示したように学習アルゴリズムの工夫と大規模データの学習によって階層ニューラルネットワークの性能が大きく引き出せることがわかった。本研究では、そのような効率的な学習を可能とするメカニズムを調べた。これにより、EMアルゴリズムの学習の遅滞が起きる原因を明らかにし、階層ニューラルネットワークで用いられるContrastive Divergence Learningの一般化とその学習則の収束条件を求めることができた。また、制約付きの最適化を行うことで自然画像の効率的な符号化に成功した。
|