確率的層状フィードフォーワードネットワークの統計力学的研究

1995 Fiscal Year Annual Research Report

• Project/Area Number: 07680378
• Research Institution: Tohoku University
• Principal Investigator: 藤木 澄義 東北大学, 大学院・情報科学研究科, 講師 (00209032)
• Keywords: 層状ニューラルネットワーク / 確率的ニューロン / フィードフォーワードネットワーク / 相互対称結合型ネットワーク / ボルツマンマシン学習則 / バックプロパゲーション学習則 / 相対エントロピー / カルバック測度

Research Abstract

平成7年度の成果
相対エントロピー(カルバック測度)の最小原理を用いてデジタルユニット(ニューロン)が確率的に離散値をとる層状フィードフォーワードネットワークの学習過程を定式化した.この確立的層状フィードフォーワードネットワークの学習過程をモンテカルロシミュレーションによって調べ,確立的デジタルユニットを用いた相互対称結合ネットワークであるボルツマンマシンの学習過程と比較した.さらに決定論的なアナログユニットよりなるフィードフォーワードネットワークにバックプロパゲーションアルゴリズムを用いた学習過程と比較しそれぞれのモデルの学習能力を調べ比較した.
結果として次のことが明らかになった.
1.パターンに相関のない学習に対しては,バックプロパゲーションアルゴリズムを用いたアナログフィードフォーワードモデルの学習スピードは他のモデルに比べて圧倒的に早い.
2.しかし,相関の強いモデルに対しては,バックプロパゲーションアルゴリズムは無力で,確立的デジタルユニットを用いたモデルが優れている.
3. 2つのデジタルユニットモデルを比較した場合,簡単な問題に対してはボルツマンマシンの方が学習スピードが早い.しかし,与えられた問題が複雑になると,多くの中間層ユニットが必要になり,ボルツマンマシンでは平衡状態に達するまでに要する緩和時間が飛躍的に増大し,実用時間内に学習を終えることが困難になる.この点,確立的層状フィードフォーワードモデルではこの様な困難は生じない.
以上の結果より,次世代のニューロコンピュータの設計に確立的層状フィードフフォーワードネットワークは大変有望と思われるが,現在この方面の研究はほとんど行われていない.さらに確率的層状フィードフォーワードネットワークは損失回復,汎化,最適化構造の自動構築等の能力を持っているように見える.これらは,実際の脳においても重要な能力であるが,ニューロコンピュータの設計においても必要不可欠な能力と思われる.これらの能力をモンテカルロシミュレーションによる数値計算によって現在詳しく調べている.