|
系列データに対する将来的な学習アーキテクチャとして，本年度はBoltzmann Machine (BM)を主に取り扱った．具体的にはBMの評価手法と学習手法に分けてそれぞれ以下の研究を行った．
まず評価手法に関する研究としてAnnealed Importance Sampling (AIS)を対象とする研究を２件行った．AISはBMの規格化定数を精度よく推定する方法であり，BMの定量評価には欠かせない．まず一つめはGaussian RBM (GRBM)を対象とした提案分布の効率的な設定法に関する研究である．この研究では対角共分散行列をもつ初期分布が使われる従来法に対して，非対角共分散行列が使用できる様に改良を行った．AISに関する二つめの研究ではAnnealing速度の最適化を扱った（現在投稿中）．この研究ではPerfect transitionの仮定のもと解析した推定誤差を数値的に最小化することで，近似精度の向上を試みた．これら方法を複数のRBMに対する規格化定数の推定に用いたところ，近年報告されていた従来法に比べて高い推定精度を達成できることを示した．
次に学習アルゴリズムの改良として，Ratio Matching (RM)法に関する研究とDBMの表現能力に関する研究の二件を行った．まずRMは規格化定数の近似評価を必要としない学習法であるが，多モードデータの学習に困難がある．この研究ではランダムに組み合わせたデータ点間の確率値を均一化する新たな学習基準を提案し人工データに対する実験で効果を確認した． 最後にDeep BM (DBM)の表現能力に関する解析および改良に関する研究を行った（現在投稿準備中）．この研究ではDBMの表現能力の指標を提案し，DBMが期待以上の表現能力を持っていないことを示した．またDBMの問題を改善する新たなBMを提案し，実験的に効果を確かめた．
|
