2015 Fiscal Year Annual Research Report
高識別的特徴空間とその探索法の最小分類誤り基準に基づく統一的実現
| Project/Area Number |
26280063
|
|---|
| Research Institution | Doshisha University |
|---|
Principal Investigator |
片桐 滋 同志社大学, 理工学部, 教授 (40396114)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 篤 名古屋市立大学, 大学院システム自然科学研究科, 教授 (50396206)
渡辺 秀行 国立研究開発法人情報通信研究機構, ユニバーサルコミュニケーション研究所音声コミュニケーション研究室, 主任研究員 (40395091)
小川 厚徳 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 研究主任 (90527516)
吉岡 拓也 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 研究主任 (40466404)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | パターン認識 / 識別学習 / 機械学習 / カーネル法 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究は，特徴抽出部と分類部とから成るパターン認識器の設計において，最小分類誤り（MCE）学習法に，最近のカーネル法とディープ・ニューラル・ネットワーク（DNN）に基づく特徴写像法を加えて，理想的な最小分類誤り確率状態の達成に一貫する形で認識器全体を最適設計する手法の確立を目指すものである．以下にサブテーマ毎の進捗を要約する．
（１）可変長パターンのための大幾何マージン最小分類誤り（LGM-MCE）学習法の開発：動的時間軸伸縮に基づく可変長パターンのための幾何マージンを用いるLGM-MCE学習法の有効性を実験によって示した．また，そのLGM-MCE法のために，分類誤り数損失の平滑度の自動的最適化法を定式化した．
（２）DNNを用いる識別的特徴抽出法の開発：Network in Networkなどの画像認識用手法を取り入れ，対雑音性能が優れた音声認識器を構築した．また，話者正規化学習（SAT）型のDNN-HMM音声認識器に線形変換ネットワーク（LTN）話者モジュールを導入する手法の有効性等も明らかにした．
（３）超多クラス分類課題のための高効率解探索法の開発：識別学習における既存の学習基準（損失）である相互情報量（MMI）基準や最小音素誤り（MPE）基準等を包含する一般化学習基準，Differenced MMIの有効性を音声認識用音響モデルの教師なし話者適用において実証した．また，音声認識器の学習に必須とされる正解文を単語の分類結果から推定する手法の有効性も明らかにした．
（４）識別学習のためのモデルサイズ最適化法の開発：検証用データを用いずに学習用データのみを用いて分類器モデルサイズを最適化する手法の構築を目指し，モデルサイズと誤分類尺度値との関係を精査した．また，カーネルMCE（KMCE）法によって，サポートベクターマシン（SVM）より相当小規模ながら高い識別力をもつ認識器を実現した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
可変長パターンのための数理的に完成度の高い幾何マージンを得るには至っていないものの，動的時間軸伸縮に基づく可変長パターンのための幾何マージンの定義と，それを用いたLGM-MCE学習法の定式化，また新しいLGM-MCE学習法のための（未知標本耐性の向上あるいは最小分類誤り確率状態の推定に直結する）分類誤り損失平滑度の自動決定法の定式化を得ており，さらにそれらの基本的な有用性を実証するに至っている．
対雑音性能が優れたDNNを用いた音声認識手法や，SAT型のDNN-HMM音声認識手法に関しては，国際的に最高水準にある国際会議（IEEE ICASSP）に今年度だけでも3件の成果発表するに至っている．SAT型DNN-HMM方式に関する基礎部分の成果は，IEICE論文誌論文として条件付き採録に至ってもいる．
超多クラス分類課題に関しては，統一化された識別学習基準にかかわる成果が，音声分野の中心的国際学術誌論文として掲載され，また認識器の学習に必須となる正解情報入手の負荷を軽減する手法の成果が，やはり当該分野の難関論文誌であるIEEE論文誌に条件つきながら採択されるに至っている．
昨年度着想を得るに至った，幾何マージンを用いた認識器モデルパラメータサイズの最適化（未知標本耐性を高めるパラメータサイズの発見）手法の研究に関しても，データ分割法の根本的な見直しの価値を明らかにするとともに，最適化手法の定式化の具体化を進めることができた．
分類器モデルサイズの最適化等の一連の研究が目指す，最小分類誤り確率状態の探求は，適切なパターン特徴空間の設計と密接に関連する．この点に関して，開発したKMCE法が，広く使われているSVMよりも極めて効果的な特徴空間を実現し，小さなモデルで効率よく識別力を高め得ることも明らかにした．
以上，上述した論文誌論文発表や難関国際会議発表を含む12件の対外発表を実現するに至っている．
|
| Strategy for Future Research Activity |
サブテーマ毎に今後の進め方を要約する．
（１）可変長パターンのためのLGM-MCE学習法：基本的な有効性の確認を終えた，一連のLGM-MCE学習法に関し，評価実験の規模を大きくし，より信頼度の高い実験的評価を進める．また，KMCE学習法を可変長パターン分類用にも改変し，可変長パターンのより高精度な識別の実現を目指す．さらに，可変長パターンのための幾何マージンのより厳密な定式化に引き続き挑戦し，かつこれまでの動的時間軸伸縮とは異なる（それが持つ特徴空間の次元数の変動の問題を軽減できる）近似解についても検討する．
（２）DNNを用いる識別的特徴抽出法：Network in Networkや（SATの概念に基づく）モジュール構造など，DNNの構造に工夫を凝らしたこれまでの手法に関して，その内部状態や動作原理の精査を進める．内部状態の分析は，ネットワークの識別力の一層の向上や応用課題向きのネットワーク構造の考案などにつながることが期待される．また，利用可能性の向上を目指し，大規模なDNNを，識別力を落とさずに小規模化する手法についても検討する．
（３）超多クラス分類課題用高効率解探索法：統一化された識別学習基準やMCE学習基準，さらには正解情報を単語分類結果等から推定する手法の成果を基に，小さな識別単位（音素等）と大きな識別単位（単語列等）とを効果的に連結して大規模（多クラス）問題の解決を目指す手法の構築を試みる．
（４）識別学習のためのモデルサイズの最適化法：基本的に，最適なモデルサイズは誤分類尺度上の「許容されるべき分類誤り」によって表現される．従って，誤分類尺度上の正分類と誤分類の分布状況等を精査し，この関係を的確に表示するパラメータの発見を目指す．また，本問題は，誤分類尺度空間における最小分類誤り確率状態の推定問題そのものであり，これまで用いてきたパルツェン核を用いるその推定手順の再定式化も行う．
|
| Causes of Carryover |
H27年度は，それぞれのサブテーマにおいて，問題や手法の定式化，評価実験等のいずれにおいてもほぼ当初の計画通りに進展し，国際学術誌論文や難関国際会議論文としての成果発表にも至ったが，より多数の対外発表等を経てさらに踏み込んだ議論や考察を行うことを予定していた．しかし，実験等の業務に追われ，この対外発表に遅延が生じたためである．
|
| Expenditure Plan for Carryover Budget |
これまでの成果をより積極的に対外発表し，研究内容の質の一層の向上を目指すため，論文投稿費や英文添削費，学会参加経費に充当する．
|
