|
多層ニューラルネットワークは、その表現能力の高さから注目を集め、様々な応用が試されてきた。しかしながら、多層ニューラルネットワークを現実の問題に適用する際には、その学習、つまりパラメータ最適化において初期値に依存した局所解に陥ることが大きな問題となることが認識されるようになった。本研究では、2006年にHintonによって提案されたcontrastive divergenceに基づくpretrainigと呼ばれる手法が大規模なネットワークを大量の訓練データで学習するときに良いパラメータの推定値を与えることに注目し、その性能の理論的解析と、手法の改良と応用を目的とした。その結果、contrastive divergenceがマルコフ連鎖における平衡分布をデータを生成する経験分布に近づけるための学習則、detailed balance learningとして一般化できることを見い出し、その収束の条件等を理論的に求めることができた。コスト関数を明らかにすることができたため、Hintonらがpretrainingで用いたような最適化に限らず、一般の最適化手法に基づく学習則の導出が可能となった。一方、多層ニューラルネットワークによって符号化や囲碁の盤面評価の学習などに応用ができることを示した。とくに数百万にのぼる大量のデータを学習する際には確率勾配法に基づくオンライン学習が必要となるが、これをフィッシャー情報行列をブロック対角行列で近似したオンライン自然勾配法に改良することでさらに早い学習が可能となることが示された。そのため、detailed balance learningにおいても、その最適化にヘシアンの近似を行うような準ニュートン法に基づく最適化の導入が有効に働くことが期待された。
|
