符号理論による学習機械の記憶容量と汎化能力に関する研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 12780262
• Research Institution: Chiba University
• Principal Investigator: 須鎗 弘樹 千葉大学, 工学部, 助教授 (70246685)
• Keywords: ニューラルネットワーク / パーセプトロン / 平均汎化能力 / 学習曲線 / 完全汎化 / 符号空間 / 重み / アニーリング近似

Research Abstract

今年度は,単純パーセプトロンの汎化能力について,その符号構造に留意して数学的にできるだけ厳密な導出ならびにその数値計算を行い,その結果を過去の研究と比較検討を行った.具体的には,次の手順で進めた.一般の多層パーセプトロンを規定する重みが,情報通信における符号の役割をしていることに着目し,パーセプトロンを規定する重みの空間を符号空間とみなす.その上で各学習パターンが与えられているときに,その通信を可能にする符号の候補の数が与えられたパターン数に対して,どのように変化していくのかを調べた.これに関して,1カ所近似を用いた以外は,厳密に平均汎化能力の式を導くことができた.ここで,平均汎化能力の具体的な計算をするために,単純パーセプトロンの重みが実数の場合と{±1}の2値の場合の2つの場合について,その具体的な平均汎化能力の式を先の結果から導き,数値計算を行った.その結果,実数の場合は,与えられたパターン数に対して双曲線のように減少していき,パーセプトロンの規模を表す重み(シナプス)の数を大きくしてもその傾向はそれほど変わらない.これに対して,{±1}の2値の場合は,あるパターン数のときに,平均汎化能力が突然零になる完全汎化を確認できた.これは,重み(シナプス)の数を大きくすると,より顕著になる.特に,重み(シナプス)の数に対する学習曲線を容易に計算できる点が本研究の利点である.また,従来の研究との比較検討から,本研究で用いた唯一の近似が統計力学でいうアニーリング近似であることが,統計物理学者との議論で明らかになってきた.今後,この研究をもとに,先の符号空間との対応を維持しながら,どのような符号構造が学習に適しているのかを明らかにしていく予定である.

Research Products

• [Publications] H.Suyari and I.Matsuba: "On the information theoretic analysis of a perception with binary weights"Proceedings of workshop on statistical-mechanical approach to intelligent information processing. 27-27 (2000)
• [Publications] Y.Kamitani,H.Suyari and I.Matsuba: "1/f fluctuation derived from the coarse-graining method for a neural network model"the Proceedings of ICONIP2000. (CDROM). (2000)
• [Publications] H.Suyari and I.Matsuba: "Derivation of Average Generalization Error and Learning Curve"to appear in the Proceedings or SOCO2001. (2001)