確率的ニューラルネットワークにおける学習理論及び連想記憶への応用に関する研究

1998 Fiscal Year Annual Research Report

• Project/Area Number: 10780221
• Research Institution: The University of Electro-Communications
• Principal Investigator: 小嶋 徹也 電気通信大学, 大学院・情報システム学研究科, 助手 (20293136)
• Keywords: ボルツマンマシン / 連想記憶 / フィッシャー情報行列 / データ修復 / 情報源分離

Research Abstract

ボルツマンマシンの学習におけるパラメータ値の勾配を求める際に,フィッシャー情報行列の対角成分のみを有する対角行列を用いたアルゴリズムの性質を数値実験により調べた.その結果,通常の単位行列を用いた学習の場合と比較して,少ない回数のパラメータ修正により,外界の確率分布と内界のボルツマン分布とのカルバックダイバージェンスを小さくすることが可能であることを示した.さらに,この方法を自己想起型連想記憶モデルの学習過程に導入し,連想記憶として良い結果が得られることを計算機シミュレーションにより示した.
また,原信号にノイズが加えられたデータを観測して,元の信号を復元するデータ修復問題に対し,格子状のボルツマンマシンとその学習アルゴリズムを用いたデータ修復システムを構築し,その性能を評価した.このとき,ノイズとしてはシステムと同様の格子状のボルツマンマシンにより発生させるものとした.この結果,原信号がボルツマンマシンにより発生されたものである場合のみならず,原信号が任意の画像などのデータである場合にも,ある程度データの修復が可能であることを示した.
さらに,独立な原信号が未知の行列により混合されたデータを観測して元の信号を復元する,ブラインド情報源分離の問題において,従来提案されていたニューラルネットワークによる確率的降下法を用いたオンライン型のアルゴリズムとは異なる,代数的なアプローチによるオフライン型の解法を構築した.画像や波形のデータを用いた計算機シミュレーションにより,提案手法が高い信号分離能力を有することを示した.