符号理論による学習機械の記憶容量と汎化能力に関する研究

• Project/Area Number: 12780262
• Research Category: Grant-in-Aid for Encouragement of Young Scientists (A)
• Allocation Type: Single-year Grants
• Research Field: Intelligent informatics
• Research Institution: Chiba University
• Principal Investigator: 須鎗 弘樹 千葉大学, 工学部, 助教授 (70246685)
• Project Period (FY): 2000 – 2001
• Project Status: Completed (Fiscal Year 2001)
• Budget Amount: ¥2,400,000 (Direct Cost: ¥2,400,000); Fiscal Year 2001: ¥1,100,000 (Direct Cost: ¥1,100,000); Fiscal Year 2000: ¥1,300,000 (Direct Cost: ¥1,300,000)
• Keywords: ニューラルネットワーク / 多層パーセプトロン / 学習曲線 / コミッティマシン / パリティマシン / 符号空間 / 重み / サリスエントロピー / パーセプトロン / 平均汎化能力 / 完全汎化 / アニーリング近似

Research Abstract

昨年度に引き続き,パーセプトロンの学習曲線の研究の延長線上として,多層パーセプトロンの非常に特別な場合であるコミッティマシンとパリティマシンの学習曲線について,昨年度と同様の解析を進めた.しかしながら,これらの特殊なパーセプトロンの場合には,研究代表者の手法では,符号空間との対応関係がうまく得られず,実際の数値計算と理論値とが大きく異なることが分かった.むしろ,それら数値計算の結果は,統計力学で使われるレプリカ法による結果ときれいな一致が見られることがわかった.これは,レプリカ法による定式化では,コミッティマシンやパリティマシンの対称性などをうまく取り入れられることが大きな要因であり,今のところ,これらの特殊な多層パーセプトロンには,符号空間との良好な対応関係が得られていない.また,同様に,サポートベクターマシンに,本手法を応用したが,VC次元で与えられる汎化誤差と符号間の距離とは,きれいな対応関係があることがわかった.つまり,与えられたパターン間の距離が大きくなるほど,識別能力は上がり,汎化誤差が小さくなる.それに伴い,記憶容量は小さくなる.これらの結果は,符号理論から言えば,非常に自然な結果である.以上の観点から,研究代表者の手法は,必ずしもレプリカ法などよりも優位とは言えないが,パーセプトロンなどいくつかの学習機械とのきれいな対応関係が見られる.これら汎化誤差などの性能限界を情報理論の通信路符号化定理に対応させて,エントロピーや通信路容量の観点から解析できないか,研究中である.特に,近年,統計力学の分野においてさかんに研究されているサリスエントロピーなどは,レプリカ法などによる手法との親和性が非常に高いことが予想される.これらに関しては,今後より詳細に調べていく予定である.

Research Products

• [Publications] H.Suyari, I.Matsuba: "On the information theoretic analysis of a perceptron with binary weight"Proceedings of workshop on statistical-mechanical approach. 27-27 (2000)
• [Publications] Y. Kamitani, H.Suyari, I.Matsuba: "1/f fluctuation derived from the coarse-graining method for a neural network model"the Proceedings of ICONIP2000. (CDROM). (2000)
• [Publications] H.Suyari, I.Matsuba: "Derivation of Average Generalization Error and Learning Curve"the Proceedings of SOCO2001. (CDROM). (2001)
• [Publications] H.Suyari, I.Matsuba: "On Rigorous Derivation of Learning Curves"the Proceedings of IJCNN2001. (CDROM). (2001)
• [Publications] 神谷良信, 須鎗弘樹, 松葉育雄: "ニューラルネットワークモデルの空間的粗視化による1/fスペクトルの導出"電子情報通信学会論文誌(A). J84-A. 1148-1156 (2001)
• [Publications] Hiroki Suyari: "On general axioms and their uniqueness theorems for Tsallis entropy"Technical report of IEICE. IT2001-40. 31-36 (2001)
• [Publications] 嵩本益三, 須鎗弘樹: "Tsallisエントロピーを用いた独立成分解析"第24回情報理論とその応用シンポジウム予稿集. SITA2001. 759-762 (2001)
• [Publications] H.Suyari and I.Matsuba: "On the information theoretic analysis of a perception with binary weights"Proceedings of workshop on statistical-mechanical approach to intelligent information processing. 27-27 (2000)
• [Publications] Y.Kamitani,H.Suyari and I.Matsuba: "1/f fluctuation derived from the coarse-graining method for a neural network model"the Proceedings of ICONIP2000. (CDROM). (2000)
• [Publications] H.Suyari and I.Matsuba: "Derivation of Average Generalization Error and Learning Curve"to appear in the Proceedings or SOCO2001. (2001)