リカレントネットワークによる実時間連続音声認識とモデル選択に関する研究

1995 Fiscal Year Annual Research Report

• Project/Area Number: 06650401
• Research Institution: The University of Electro-Communications
• Principal Investigator: 高橋 治久 電気通信大学, 電気通信学部, 助教授 (90135418)
• Co-Investigator(Kenkyū-buntansha): 吉田 利信 電気通信大学, 電気通信学部, 助教授 (30114341) ; 富田 悦次 電気通信大学, 電気通信学部, 教授 (40016598)
• Keywords: 音声認識 / ニューラルネットワーク / 学習

Research Abstract

平成7年度は、研究目的のうちの理論的柱である学習の解析に関していくつかの成果を挙げた.従来の理論が学習の汎化性能の振る舞いの説明に終始し、定量的な説明にかけているため実用が困難であったので、定量的にも実験と一致する理論の開発を行った.あらゆる学習アルゴリズムの最悪値を評価として用いてきたVC理論に変わり、最悪ではないが平均的によくない振る舞いをする一つのアルゴリズムill-disposedアルゴリズムを導入し汎化性能の解析を行う新しい方法を提案した.非常に大きな値をとる従来の汎化指標であるVC次元に代わり、正則補間次元を導入し汎化性能の予測と所望の性能を出すのに必要なサンプルサイズを定量的に求めることができた.また音声の学習では過学習がおきることが知られており、このメカニズムを明らかにするとともにこれを防ぐ簡単な方法を発見した.この理論をリカレントネットワークに適用して、汎化性能の予測を行った.またネットワークの容量について解析し、与えられたサンプルサイズに対しどのくらいの規模のネットワークが必要であるかを理論的に明らかにした.以上を、音声認識ニューラルネットワークのアーキテクチャ選択に応用することにより、本科研費課題の主目的の一つであるモデル選択手法を確率できた.音声認識ネットワークについては、極単純リカレントネットワークを用いて連続音声認識ができることを確認した後、出力層にループをもうけることによって性能が改善されることを発見した.このアーキテクチャはまだ研究が完成しておらず、今後更なる検討を必要とする.とくに、BP学習は時間がかかりすぎて実用にならないことが分かり、現在自己組織化と組み合わせたネットワークを検討している.

Research Products

• [Publications] Honzhong Gu: "Towards More Practical Average Bounds on Supervised Learning" IEEE Trans.on Neural Networks. 22pages (1996)
• [Publications] 顧漢 忠: "概念学習における学習曲線の評価" 信学技報 ニューロコンピューティング. NC95-57. 63-70 (1995)
• [Publications] 顧漢 忠: "最悪学習曲線の上限-実用的評価を目指して-" 信学技報 ニューロコンピューティング. NC95-67. 15-22 (1995)
• [Publications] 顧漢 忠: "Self-Averaging and Sample Complexity" 信学技報 ニューロコンピューティング. NC・96-1. 7pages (1996)
• [Publications] TAKAHASHI,H: "Towards Practical Bounds of Storage Capacity in Multilayer Networks" Proc.1995 International Symposium or NOLTA. 2B-5. 215-218 (1995)
• [Publications] Honzhong Gu: "Exporential or Polybnomial Learning Curves ? A case Study" Proc.1995 International Symposium or NOLTA. 2B-12. 243-246 (1995)