|
平成7年度は、研究目的のうちの理論的柱である学習の解析に関していくつかの成果を挙げた.従来の理論が学習の汎化性能の振る舞いの説明に終始し、定量的な説明にかけているため実用が困難であったので、定量的にも実験と一致する理論の開発を行った.あらゆる学習アルゴリズムの最悪値を評価として用いてきたVC理論に変わり、最悪ではないが平均的によくない振る舞いをする一つのアルゴリズムill-disposedアルゴリズムを導入し汎化性能の解析を行う新しい方法を提案した.非常に大きな値をとる従来の汎化指標であるVC次元に代わり、正則補間次元を導入し汎化性能の予測と所望の性能を出すのに必要なサンプルサイズを定量的に求めることができた.また音声の学習では過学習がおきることが知られており、このメカニズムを明らかにするとともにこれを防ぐ簡単な方法を発見した.この理論をリカレントネットワークに適用して、汎化性能の予測を行った.またネットワークの容量について解析し、与えられたサンプルサイズに対しどのくらいの規模のネットワークが必要であるかを理論的に明らかにした.以上を、音声認識ニューラルネットワークのアーキテクチャ選択に応用することにより、本科研費課題の主目的の一つであるモデル選択手法を確率できた.音声認識ネットワークについては、極単純リカレントネットワークを用いて連続音声認識ができることを確認した後、出力層にループをもうけることによって性能が改善されることを発見した.このアーキテクチャはまだ研究が完成しておらず、今後更なる検討を必要とする.とくに、BP学習は時間がかかりすぎて実用にならないことが分かり、現在自己組織化と組み合わせたネットワークを検討している.
|
