| 研究概要 |
汎化誤差とネットワークの能力の関係について理論的な解析を行い以下のような成果を得た.従来の表示空間全体で最悪値をとるVC次元解析に代わって,学習の結果概念の存在する候補領域でworse-caseをとる新しい方法(ill-posed hypothesisによる評価)を提案した.この結果,VC次元に代わって評価が簡単な実質VC次元が導入され,サンプル計算量や汎化誤差の評価はオーダ的に改善されることを示した.実質VC次元は,VC次元よりもその値が小さく,また全パラメータ数よりも小さくなる場合もある.例えば敷居値ニューラルネットワークなどでは中間層の結合総数で与えられ,出力層の結合には依存しない.これらの結果は,実験結果とも良く適合する.次に,分類雑音を加えられた有限のサンプルから学習を行う場合の漸近的な汎化誤差の解析を行った.また実数ベクトル関数の学習を評価しニューラルネットワークのPAC基準に基づいたサンプル計算量の評価を行うと同時に平均サンプル計算量即ち学習曲線を評価した.実数関数の学習曲線はこの研究で初めて導出されたものであり,従来の学習曲線はすべて概念学習の場合に限られる.中間層に自己ループだけを含む非常に単純な学習リカレントニューラルネットワークを,主として音声情報処理のための動的情報処理ネットワークとして開発し,音声情報処理に適用した.このネットワークは人間の聴覚の仕組を参考にし、自然な形で実時間認識学習が出来,実時間連続音声認識を行う。中間層の内部表現には、人間の聴覚で観測されるONニューロンやOFFニューロン,音素の境界で発火するセグメンテーションニューロンなど,人間の聴覚系で観測されるニューロンができており聴覚機構の解明にも役立つ結果を得た。
|
