| 研究概要 |
かくれ層素子がシグモイド関数を活性化関数として持つような3層神経回路網にて情報分散処理を行うための基礎的研究を行った。シグモイド関数の台は有界集合ではないので、その様な神経回路網に局所情報の分散処理を行わせるのは困難のように思えるが、他方、ニューロンの入出力関数はシグモイド関数なのでシグモイド関数を活性化関数とする回路網の研究は、神経生理学的にも重要である。
容易に分かるが、活性化関数がシグモイド関数であっても、5層の神経回路網は局所的な情報処理により関数を近似する能力を持つ。局所情報を担当するお互いに独立なモヂュ-ルを作ることが出来るからである。4層神経回路網の場合、局所情報を担当しお互いに線形独立なモヂュ-ルを構成することが出来る(Y.Ito,1994)。しかし、3層神経回路網の場合、現在の所、局所を担当するモヂュ-ルを構成することはできない。
その様なモヂュ-ルを構成することが出来るか否かについても、よくは分かっていないのが現状であるが、その解答に至るべき中間的な結果が本年の研究によって得られた。すなわち、適当な条件を満たすシグモイド関数によって定義された平面波はパラメータが本質的に異なれば、お互いに線形独立であることを証明した(次頁Y.Ito,1996)。これはSussmann(1992)によって得られた結果の拡張となっている。
この結果は、3層神経回路網においても局所情報を担当するモヂュ-ルが存在し得る事を示唆する。それを具体的に研究するのは次年度以降となるが、本年度の結果の応用としては、活性化関数のスケイリングを伴わない3層神経回路網による有限写像の実現がある(次頁Y.Ito,K.Saito,1996)。
|
