| 研究概要 |
今年度は,単純パーセプトロンの汎化能力について,その符号構造に留意して数学的にできるだけ厳密な導出ならびにその数値計算を行い,その結果を過去の研究と比較検討を行った.具体的には,次の手順で進めた.一般の多層パーセプトロンを規定する重みが,情報通信における符号の役割をしていることに着目し,パーセプトロンを規定する重みの空間を符号空間とみなす.その上で各学習パターンが与えられているときに,その通信を可能にする符号の候補の数が与えられたパターン数に対して,どのように変化していくのかを調べた.これに関して,1カ所近似を用いた以外は,厳密に平均汎化能力の式を導くことができた.ここで,平均汎化能力の具体的な計算をするために,単純パーセプトロンの重みが実数の場合と{±1}の2値の場合の2つの場合について,その具体的な平均汎化能力の式を先の結果から導き,数値計算を行った.その結果,実数の場合は,与えられたパターン数に対して双曲線のように減少していき,パーセプトロンの規模を表す重み(シナプス)の数を大きくしてもその傾向はそれほど変わらない.これに対して,{±1}の2値の場合は,あるパターン数のときに,平均汎化能力が突然零になる完全汎化を確認できた.これは,重み(シナプス)の数を大きくすると,より顕著になる.特に,重み(シナプス)の数に対する学習曲線を容易に計算できる点が本研究の利点である.また,従来の研究との比較検討から,本研究で用いた唯一の近似が統計力学でいうアニーリング近似であることが,統計物理学者との議論で明らかになってきた.今後,この研究をもとに,先の符号空間との対応を維持しながら,どのような符号構造が学習に適しているのかを明らかにしていく予定である.
|
