Statistical pattern classifier training based on cross-validation likelihood

• Project/Area Number: 19700167
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: SHINOZAKI Takahiro Tokyo Institute of Technology, 大学院・情報理工学研究科, 助教 (80447903)
• Project Period (FY): 2007 – 2008
• Project Status: Completed (Fiscal Year 2008)
• Budget Amount: ¥3,780,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥480,000); Fiscal Year 2008: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000); Fiscal Year 2007: ¥1,700,000 (Direct Cost: ¥1,700,000)
• Keywords: 統計モデル / 過学習 / 汎化性能 / クロスバリデーション / 隠れマルコフモデル / 期待値最大化学習 / モデル推定 / 教師なし適応化 / 音声認識 / 混合ガウス分布 / バギング / パラメタ数最適化 / 十分統計量 / HMM / GMM / EM法

Research Abstract

モデル選択手法として用いられているクロスバリデーション的手法を繰り返し最尤パラメタ推定法の内部に効果的に組み込むことで、少ないデータから精密かつ一般性の高い統計モデルを学習するための手法を提案した。具体的には期待値最大化学習法にクロスバリデーションを組み込んだ手法の提案を行い、さらに教師なし適応への応用も行った。提案手法を音声認識で用いる統計モデルの学習に応用し、認識性能の向上に非常に効果的であることを示した。

Research Products

• [Journal Article] Unsupervised Cross-validation Adaptation Algorithms for Improved Adaptation Performance (2009)
  • Author(s): Takahiro Shinozaki, Yu Kubota, and Sadaoki Furui
  • Journal Title: Proc. ICASSP 2009 Pages: 4377-4380
  • NAID: 120006978390
  • Peer Reviewed
• [Journal Article] 高精度音声認識のための教師なしクロスバリデーションおよび集合適応法の提案 (2009)
  • Author(s): 篠崎隆宏, 久保田雄, 古井貞熙
  • Journal Title: 情処研報 2009-SLP-75 Pages: 1-6
  • NAID: 120006702103
• [Journal Article] 高精度音声認識のための教師なしクロスバリデーションおよび集合適応法の提案 (2009)
  • Author(s): 篠崎隆宏, 久保田雄, 古井貞煕
  • Journal Title: 情報処理学会研究報告 2009-SLP-75 Pages: 1-6
  • NAID: 120006702103
• [Journal Article] Aggregated Cross-validation and Its Efficient Application to Gaussian Mixture Optimization (2008)
  • Author(s): Takahiro Shinozaki, Sadaoki Furui, and Tatsuya Kawahara
  • Journal Title: Proc. Interspeech 2008 Pages: 2382-2385
  • NAID: 120006702059
  • Peer Reviewed
• [Journal Article] 効率的なクロスバリデーションに基づく混合ガウス分布の最適化法とその拡張 (2008)
  • Author(s): 篠崎隆宏, 古井貞熙, 河原達也
  • Journal Title: 情処研報 2008-SLP-72 Pages: 69-74
  • NAID: 110006862664
• [Journal Article] GMM and HMM training by aggregated EM algorithm with increased ensemble sizes for robust parameter estimation (2008)
  • Author(s): Takahiro Shinozaki and Tatsuya Kawahara
  • Journal Title: Proceedings of ICASSP Pages: 4405-4408
  • Peer Reviewed
• [Journal Article] 効率的なクロスバリデーションに基づく混合ガウス分布の最適化法とその拡張 (2008)
  • Author(s): 篠崎隆宏, 古井貞煕, 河原達也
  • Journal Title: 情報処理学会研究報告 2008-SLP-72 Pages: 69-74
  • NAID: 110006862664
• [Journal Article] Aggregated Cross-validation and Its Efficient Application to Gaussian Mixture Optimization (2008)
  • Author(s): Takahiro Shinozaki, Sadaoki Furui, and Tatsuya Kawahara
  • Journal Title: Proceedings of Interspeech Pages: 2382-2385
  • NAID: 120006702059
• [Journal Article] 効率的なクロスバリデーション尤度評価に基づく混合ガウス分布の最適化 (2007)
  • Author(s): 篠崎隆宏, 河原達也
  • Journal Title: 情処研報 2007-SLP-67 Pages: 81-86
  • NAID: 110006381954
• [Journal Article] 頑健なパラメタ推定のためのAggregated EM法の提案と評価 (2007)
  • Author(s): 篠崎隆宏, Ostendorf, Mari, 河原達也
  • Journal Title: 信学技報 Vol. 107 Pages: 223-228
  • NAID: 110006549578
• [Journal Article] 効率的なクロスバリデーション尤度評価に基づく混合ガウス分布の最適化 (2007)
  • Author(s): 篠崎隆宏、河原達也
  • Journal Title: 情処研報 2007 Pages: 81-86
  • NAID: 110006381954
• [Journal Article] 頑健なパラメタ推定のためのAggregated EM 法の提案と評価 (2007)
  • Author(s): 篠崎隆宏、Ostendorf, Mari、河原達也
  • Journal Title: 信学技報 107 Pages: 223-228
  • NAID: 110006549578
• [Presentation] 高精度音声認識のための教師なしクロスバリデーション適応法の提案 (2009)
  • Author(s): 篠崎隆宏, 久保田雄, 古井貞熙
  • Organizer: 日本音響学会
  • Place of Presentation: 東京工業大学
  • Year and Date: 2009-03-17
• [Presentation] Aggregated cross-validation 尤度を用いた混合ガウス分布最適化アルゴリズムの提案 (2008)
  • Author(s): 篠崎隆宏, 古井貞熙, 河原達也
  • Organizer: 日本音響学会
  • Place of Presentation: 千葉工業大学
  • Year and Date: 2008-03-18
• [Presentation] Aggregated cross-validation尤度を用いた混合ガウス分布最適化アルゴリズムの提案 (2008)
  • Author(s): 篠崎隆宏, 古井貞煕, 河原達也
  • Organizer: 日本音響学会
  • Place of Presentation: 千葉工業大学
  • Year and Date: 2008-03-18
• [Remarks]
  • URL: http://www.furui.cs.titech.ac.jp/~shinot
• [Remarks]
  • URL: http://www.furui.cs.titech.ac.jp/~shinot/