動的情報処理を行う自然なニューラルネットワークとその学習アルゴリズムに関する研究

1992 Fiscal Year Annual Research Report

• Project/Area Number: 04805032
• Research Institution: The University of Electro-Communications
• Principal Investigator: 高橋 治久 電気通信大学, 電気通信学部, 助教授 (90135418)
• Co-Investigator(Kenkyū-buntansha): 武田 光夫 電気通信大学, 電気通信学部, 教授 (00114926) ; 富田 悦次 電気通信大学, 電気通信学部, 教授 (40016598)
• Keywords: PAC学習 / 学習曲線 / VC次元 / サンプル計算量 / 汎化 / 分類雑音

Research Abstract

ニューラルネットワークの学習を行うとき,最も重要な評価として汎化誤差とスケーリングが挙げられる.本年度はこの内汎化誤差とネットワークの能力の関係について理論的な解析を行い以下のような成果を得た.サンプル量と汎化誤差の関係はPAC学習基準によってその評価が与えられているが,実験的には安全側に行き過ぎていることが指摘されている.この主な理由は,最悪評価が使われていることにある.本年度は,従来の表示空間全体で最悪値をとるVC次元解析に代わって,学習の結果概念の存在する候補領域で最悪値をとる新しい方法(実効VC次元解析)を提案した.この結果,VC次元に代わって評価が簡単な概念空間次元が導入され,サンプル計算量や汎化誤差の評価はオーダ的に改善されることを示した.特別な場合として統計物理的方法によって得られている平均値も導出した.実効VC次元は,VC次元よりもその値が小さく,また全パラメータ数よりも小さくなる場合もある.例えばニューラルネットワークなどでは中間層の結合総数で与えられる.これらの結果は,実験結果とも良く適合する.次にこの方法を,分類雑音を加えられた有限のサンプルから学習を行う場合の漸近的な汎化誤差の解析を行った.まず,分類雑音がある場合におけるPAC学習可能性を示し,サンプル計算量を導出する.次に,漸近的な最悪学習曲線を一般的な仮定の下に導き,平均的な学習アルゴリズムに於ける学習曲線を評価を行った.これらの研究は,VC次元解析の新しい可能性を示唆しており,来年度もこの方向で更に研究を進めていく予定である.尚,これらの研究は2回にわたって電子情報通信学会ニューロコンピューティング研究会で発表を行った.

Research Products

• [Publications] 高橋,治久: "汎化に要するサンプル計算量ーPAC基準による評価ー" 信学技報(NC). NC92-91. 87-94 (1992)
• [Publications] 高橋,治久: "雑音のある例からのニューラルネットワーク学習における学習曲線" 信学技報(NC). NC92-92. (1993)
• [Publications] 山田,義朗: "近似量大クリークを抽出する確率アルゴリズムとその実験的評価" 電子情報通信学会論文誌 D-I. J76-D-I. 46-53 (1993)