| 研究課題/領域番号 |
26280063
|
|---|
| 研究機関 | 同志社大学 |
|---|
研究代表者 |
片桐 滋 同志社大学, 理工学部, 教授 (40396114)
|
|---|
| 研究分担者 |
中村 篤 名古屋市立大学, 大学院システム自然科学研究科, 教授 (50396206)
小川 厚徳 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 主任研究員 (90527516)
吉岡 拓也 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 研究主任 (40466404) [辞退]
渡辺 秀行 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 連携研究員 (40395091)
Delcroix Marc 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 主任研究員 (70793339)
|
|---|
| 研究期間 (年度) |
2014-04-01 – 2018-03-31
|
| キーワード | パターン認識 / 識別学習 / 機械学習 / カーネル法 / ニューラルネットワーク |
|---|
| 研究実績の概要 |
本研究は，特徴抽出部と分類部とからなるパターン認識器の設計において，最小分類誤り（MCE）学習法に，最近のカーネル法とディープ・ニューラルネットワーク（DNN）に基づく特徴写像法を加えて，理想的な最小分類誤り確率（ベイズリスク）状態の達成に一貫する形で認識器全体を最適設計する手法の確立を目指すものである．以下にサブテーマ毎の進捗を要約する．
（１）可変長パターンのための大幾何マージン最小分類誤り（LGM-MCE）学習：状態遷移型クラスモデルを用いた動的時間軸伸縮を伴うLGM-MCE学習法を完成させ，その有効性を音声単語認識実験によって示すことができた．（２）カーネル最小分類誤り(KMCE)学習法の評価と改良：多クラスサポートベクターマシン(MSVM: Multi-class SVM)によって生成されるサポートベクター（SV）を，ほとんどその識別力を低下させることなく大幅に削減できることを明らかにした．（３）話者正規化（SAT）型DNNの改良：グループラッソ法を利用し，線形ネットワークの挿入を必要とせず，かつネットワーク学習の段階において直接，大幅なDNNノードの削減が可能であることを示した．（４）超多クラス分類課題のための高効率解探索法の開発：MCE法のような識別学習には必須と考えられてきた正解情報を用いずに，認識結果とクラス素性を基に認識率を正確に推定する手法の構築に成功した．（５）ハイパーパラメータを用いずに高い未知標本耐性を達成する学習法の開発：標本分布が疎な領域におけるLGM-MCE法によるベイズリスク推定精度を高めることを目指し，標本重み付きパルツェン推定による平滑分類誤り数損失平滑度設定法を構築し，また平滑度の自動推定法の有効性の検証を行った．さらに，誤分類尺度空間においてベイズリスク状態が成立するための必要条件を発見し，その妥当性を予備実験によって確認した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
各サブテーマで得られた成果に対し，それぞれ以下のような評価をしていることに由来する．
（１）動的時間軸伸縮を伴うLGM-MCE学習法：可変長パターンどうしの厳密な幾何マージンを定式化するには至っていないものの，音声認識を含む広範な可変長時系列パターンの認識に自然に適用できる手法の有効性をほぼ確認することができた．（２）KMCE学習法がもつSV削減効果：SVMがもつスケーラビリティの問題を大きく改善する手法として広く利用される可能性がある．また，クラス境界付近におけるSVの位置に基づいて分類の難易度を推定する手法を構築した．（３）グループラッソ法等を用いる無駄のないSAT-DNN音声認識器の構築：計算速度や必要とされる記憶容量などの様々な面で問題となっていたDNN型認識器の無駄を大幅に削減し，利用可能性を高め，また学習パラメータ数を減らすことでその適応力の向上にも道を拓いた．（４）認識結果とクラス素性から認識率を推定する手法の開発：基本的に正解情報を必要とするLGM-MCE学習法やDNNの学習法（クロスエントロピー最小化法など）を，正解情報の整備が不完全でも利用することを可能とする道を拓いた．（５）標本重み付きパルツェン推定によるLGM-MCE学習法や誤分類尺度空間におけるベイズリスク状態達成条件に関する分析：SVMやDNNなどの強力な手法の多くで当然と思われている，検証用標本を用いたハイパーパラメータの最適化を不要とすることで，あるいはハイパーパラメータ数を減らすことで，結果的にベイズリスクの推定精度を高めることができる．また，誤分類尺度空間におけるベイズリスク成立の必要条件が明らかになることで，これまで実用性が必ずしも高いとは言えなかった，分類器モデルサイズの最適化法や過学習を回避するための学習基準の構築に道を拓いた．
|
| 今後の研究の推進方策 |
サブテーマ毎に今後の進め方を要約する．
（１）動的時間軸伸縮を伴うLGM-MCE学習法：パターン空間における如何なる距離も，分類判断段階では誤分類尺度空間上の距離と置き換えられる．この点を考慮し，可変長パターンにかかわる距離（あるいは幾何マージン）には動的時間軸伸縮に基づくこれまでの成果を採用し，その距離が反映される誤分類尺度空間におけるベイズリスク推定精度の向上を重点的に目指す．このアプローチは，以下の（５）項と深く関係する．また，実験データを増やし，評価の信頼性も高める．（２）KMCE学習法がもつSV削減効果：可変長パターン用のKMCE法の構築を目指す．動的時間軸伸縮を用いて近似的にカーネル計算を行う手法の利用を検討する．（３）無駄のないSAT-DNN音声認識器の構築：特異値分解やグループラッソ法を伴う学習法の有効性をさらに検証し，また多層構造内における特徴表現とベイズリスク（特にその低減効果）との関係等の分析を進める．（４）認識結果とクラス素性から認識率を推定する手法の開発：構築した認識率推定法をLGM-MCE学習やDNNの学習に適用し，その有用性を調査する．（５）標本重み付きパルツェン推定によるLGM-MCE学習法や誤分類尺度空間におけるベイズリスク状態達成条件に関する分析：誤分類尺度空間におけるベイズリスク状態成立の必要条件を精査し，その条件を満足するための学習法の構築を目指す．また，これまで行ってきた，分類誤り数損失の平滑度の自動設定法や，KMCE法，DNN型認識器，可変長パターンのためのLGM-MCE法などに関する各サブテーマの研究を統合し，検証用標本を用いずとも高い分類精度を自動的に達成できる汎用的学習法の構築を目指す．
また，いずれのサブテーマにおいても，得られている技術の実験的評価をより充実させ，その評価結果の公表にも注力する．
|
| 次年度使用額が生じた理由 |
年度後半に得られた着想に関する学会発表を計画していたが，評価実験等に手間取り，急きょ予定を変更せざるを得なかったため．
|
| 次年度使用額の使用計画 |
最終年度のため，論文投稿や会議発表を重点的に行う予定である．そのための，投稿料や英文添削費等に充当する．
|
