• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2011 Fiscal Year Annual Research Report

脳性麻痺構音障がい者の発話スタイルの解析及びハンズフリーコミュニケーションの研究

Research Project

Project/Area Number 21680054
Research InstitutionKobe University

Principal Investigator

滝口 哲也  神戸大学, 自然科学系先端融合研究環・都市安全研究センター, 准教授 (40397815)

Keywords音声認識 / 脳性麻痺 / 構音障がい
Research Abstract

脳性麻痺構音障がい者の音声コミュニケーションの実現を目指し,H23年度では,「障がい者音声の解析」において,新たな音声特徴量抽出法,リップリーディングに関する検証を行った.また「ハンズフリー音声認識の解析」において,音源方向推定手法に関する研究を進めた.これらについて以下の3つのサブテーマを設定し研究を行った.
1.非負値行列因子分解による構音障がい者の音声特徴量抽出
構音障がい者の発話変動に頑健な音声特徴量抽出法を提案した.提案手法では,予め構音障がい者の安定した発話のスペクトルを用いて辞書を作成する.その辞書をNMFに適用して,不安定な発話のスペクトルを,辞書に含まれる安定した発話のスペクトル基底のスパースな線形結合(結合係数のほとんどが0)で近似表現し,その結合係数を特徴量として音声認識を行う.音声認識実験の結果,提案手法を用いることで,1回目の不安定発話において従来のMFCC特徴量を用いる場合よりも,10%の認識率の改善がみられた.
2.Active Appearance Model (AAM)による顔方位に対応した発話認識
今年度は,AAMを用いることにより,様々な角度の顔方位を正面に変換して,リップリーディングを行う手法を提案した.提案手法では,顔方向を正面に変換するため,横方向の発話内容を学習する必要がなく,正面での発話を学習するだけで横方向の発話を認識することができる.脳性麻痺構音障がい者の場合,不随意運動により発話時に頭部が動くため,従来手法では,様々な顔方向に対するデータを収録する必要があったが,提案手法により収録データ数を減らすことが出来た.
3.音響伝達特性を用いた未学習位置の推定
限られた位置の音響伝達特性を用いて,音響伝達特性から位置への回帰モデルを学習することで,未学習位置の推定もその音響伝達特性と回帰モデルを用いて行う手法を提案し、有効性を示した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

障がい者音声の解析に関しては,機械学習法に基づく新たな音声特徴量抽出法を提案し,従来手法よりも音声認識精度を改善出来ることを示した.更に脳性麻痺構音障がい者のリップリーディングの検討を行い,有効性を示すことが出来た。また,ハンズフリー音声認識に関しては,未知音源位置の推定方法として,音響伝達特性の回帰モデルを提案し,有効性を示すことが出来た.よって,本申請研究は,おおむね順調に進展しているといえる.

Strategy for Future Research Activity

本研究代表者らは,これまで世界に先駆け脳性麻痺障がい者の音声認識の研究開発を進めてきた.今後は更に,新たなコミュニケーション手段の一つとして,(聴き取りの困難な)脳性麻痺構音障がい者の声を聴き取り易い声へ変換する手段が必要である.障がい者からの意見として,出来れば自分自身の声を皆に聴いてもらいたいという要望も存在し,生成される音声は,必ずしも障害者とは全く異なる声質を持った健常者の声にしたい訳ではない.よって障がい者の話者性を保ちながら,聴き取りやすい声に変換する技術の確立が必要である.

  • Research Products

    (17 results)

All 2012 2011

All Journal Article (6 results) (of which Peer Reviewed: 6 results) Presentation (11 results)

  • [Journal Article] Acoustic Model Transformations Based on Random Projections2012

    • Author(s)
      Tetsuya Takiguchi, Mariko Yoshii, Yasuo Ariki, Jeff Bilmes
    • Journal Title

      ICASSP2012

      Pages: 1933-1936

    • Peer Reviewed
  • [Journal Article] Super-Resolution by GMM Based Conversion Using Self-Reduction Image2012

    • Author(s)
      Yuki Ogawa, Yasuo Ariki, Tetsuya Takiguchi
    • Journal Title

      ICASSP2012

      Pages: 1285-1288

    • Peer Reviewed
  • [Journal Article] Audio-Visual Speech Recognition Based on AAM Parameter and Phoneme Analysis of Visual Feature2011

    • Author(s)
      Yuto Komai, Yasuo Ariki, Tetsuya Takiguchi
    • Journal Title

      The Fifth Pacific-Rim Symposium on Image and Video Technology

      Pages: 97-108

    • Peer Reviewed
  • [Journal Article] Probabilistic Spectrum Envelope : Categorized Audio-features Repreaentation for NMF-based Sound Decomposition2011

    • Author(s)
      Toru Nakashika, Tetsuya Takiguchi, Yasuo Ariki
    • Journal Title

      Interspeech2011

      Pages: 1765-1768

    • Peer Reviewed
  • [Journal Article] Single-channel Head Orientation Estimation Based on Discrimination of Acoustic Transfer Function2011

    • Author(s)
      Ryoiohi Takashima, Tetsuya Takiguohi, Yasuo Ariki
    • Journal Title

      Interspeech2011

      Pages: 2721-2724

    • Peer Reviewed
  • [Journal Article] Feature Selection Based on Multiple Kernel Learning for Single-channel Sound Source Localization Using the Acoustic Transfer Function2011

    • Author(s)
      Ryoichi Takashima, Tetsuya Takiguchi, Yasuo Ariki
    • Journal Title

      ICASSP2011

      Pages: 2696-2699

    • Peer Reviewed
  • [Presentation] 使用履歴に基づくユーザー嗜好を考慮したPOMDPによる音声対話システム2012

    • Author(s)
      藤川賢至
    • Organizer
      日本音響学会2012年春季研究発表会
    • Place of Presentation
      神奈川大学(神奈川県)
    • Year and Date
      2012-03-15
  • [Presentation] 構音障害者を対象としたSSMを用いた音声認識の検討2012

    • Author(s)
      石井良
    • Organizer
      日本音響学会2012年春季研究発表会
    • Place of Presentation
      神奈川大学(神奈川県)
    • Year and Date
      2012-03-15
  • [Presentation] 未知語モデルを用いたCRFに基づく音声認識誤り訂正2012

    • Author(s)
      中谷良平
    • Organizer
      日本音響学会2012年春季研究発表会
    • Place of Presentation
      神奈川大学(神奈川県)
    • Year and Date
      2012-03-14
  • [Presentation] Random Projectionを用いた構音障害者の音声認識2012

    • Author(s)
      高塚智敬
    • Organizer
      日本音響学会2012年春季研究発表会
    • Place of Presentation
      神奈川大学(神奈川県)
    • Year and Date
      2012-03-13
  • [Presentation] スパース表現に基づく構音障害者の発話スタイル変動にロバストな特徴量抽出2012

    • Author(s)
      吉岡利也
    • Organizer
      日本音響学会2012年春季研究発表会
    • Place of Presentation
      神奈川大学(神奈川県)
    • Year and Date
      2012-03-13
  • [Presentation] スペクトルと韻律を特徴量としたGMMによる感情音声変換2012

    • Author(s)
      相原龍
    • Organizer
      日本音響学会2012年春季研究発表会
    • Place of Presentation
      神奈川大学(神奈川県)
    • Year and Date
      2012-03-13
  • [Presentation] 音響伝達特性を用いたシングルチャネル音源位置推定における未学習位置の推定2012

    • Author(s)
      高島遼一
    • Organizer
      日本音響学会2012年春季研究発表会
    • Place of Presentation
      神奈川大学(神奈川県)
    • Year and Date
      2012-03-13
  • [Presentation] 構音障害者を対象とした混合正規分布モデルに基づく統計的声質変換に関する研究2011

    • Author(s)
      石井良
    • Organizer
      日本音響学会2011年秋季研究発表会
    • Place of Presentation
      島根大学(島根県)
    • Year and Date
      2011-09-22
  • [Presentation] 文脈特徴を用いたCRFによる音声認識誤り訂正2011

    • Author(s)
      中谷良平
    • Organizer
      日本音響学会2011年秋季研究発表会
    • Place of Presentation
      島根大学(島根県)
    • Year and Date
      2011-09-22
  • [Presentation] 2chマイクによるCSP係数の識別に基づく話者の頭部方向の推定2011

    • Author(s)
      高島遼一
    • Organizer
      日本音響学会2011年秋季研究発表会
    • Place of Presentation
      島根大学(島根県)
    • Year and Date
      2011-09-20
  • [Presentation] 音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定2011

    • Author(s)
      高島遼一
    • Organizer
      日本音響学会2011年秋季研究発表会
    • Place of Presentation
      島根大学(島根県)
    • Year and Date
      2011-09-20

URL: 

Published: 2013-06-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi