2013 Fiscal Year Annual Research Report
脳性麻痺障がい者の意図認識によるユニバーサルコミュニケーション支援機器の開発
| Project/Area Number |
25282053
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Research Institution | Kobe University |
|---|
Principal Investigator |
滝口 哲也 神戸大学, 都市安全研究センター, 准教授 (40397815)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
有木 康雄 神戸大学, 都市安全研究センター, 教授 (10135519)
高田 哲 神戸大学, 保健学研究科, 教授 (10216658)
中井 靖 川崎医療短期大学, 医療保育科, 講師 (80462050)
榎並 直子 神戸大学, システム情報学研究科, 助教 (80628925)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 教育工学 |
|---|
| Research Abstract |
脳性麻痺障がい者の発話スタイルは健常者と全く異なり，その発話内容を理解するのが困難な場合がある．本研究では，障がい者の自立した社会生活支援に資するコミュニケーション支援機器の開発を目指す．H25年度では，(I)様々なRandom行列を用いた構音障がい者の音声特徴量抽出に関する研究を行った．従来手法では，正規分布からRandom行列が生成されていたが，提案手法では，ベータ分布，ガンマ分布からRandom行列を生成することを検討し有効性を示した．更に，(II) アテトーゼ型構音障がい者を対象として，辞書選択を用いた非負値行列因子分解に基づく声質変換において話者性を維持した声質変換を提案した．従来，最も一般的な混合正規分布モデルを用いた手法では，話者変換を目的として研究されてきたため，この従来手法を構音障がい者に適用し，健常者の声質へ変換した場合，音声は聞き取りやすく変換されると考えられる．しかしながら構音障がい者音声の話者性は完全に別の健常者の話者性へと置き換えられてしまう．構音障がい者のなかには「自分らしい声で話したい」というニーズがあり，障がい者の話者性を維持した声質変換が求められている．提案手法では，出力話者のカテゴリ辞書のうち，子音に関するカテゴリ辞書のみに健常者のスペクトルを用い，母音に関するカテゴリ辞書に障がい者のスペクトルを用いることで，障がい者の話者性を維持した声質変換を実現した．聴取実験によって，提案手法は構音障がい者の話者性を維持しつつ聞き取りやすさを向上することを示した．さらに，従来手法と比較して，提案手法は自然性の高い音声で変換できることを示した．また，(III) 画像センサから斜め方向から発話した人に対して，Active Appearance Modelsを用いることで，様々な角度の顔方位を正面に変換してリップリーディングを行う手法を検討した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，障がい者の自立した社会生活支援に資するコミュニケーション支援機器の開発を，国際的な共同研究体制のもと，4年間の研究期間において実証実験まで行うものである．これまでの研究代表者らの障がい者コミュニケーション解析の実績に基づき，(I)機械学習を軸にした構音障がい者の音声認識，(II)統計モデルに基づく感情抽出，(III)話者部分空間を軸にした聴き取りやすい声への変換，(IV)機械学習に基づくマルチモーダル意図認識を研究・開発する．H25年度では，(I)障がい者音声の解析に関して，ランダム写像に基づく新たなコンパクトな音声特徴量抽出法，更にConvolutional Neural Networksによる音声特徴量抽出法を提案し，従来手法よりも音声認識精度を改善出来ることを示し，学会などで論文執筆（海外研究機関との共著論文）を行った．更に，(II)3D平均顔とAdaBoostを用いた顔表情認識を検討した．また，(III)非負値行列因子分解に基づく声質変換において音素クラスタリングを組み込むことにより，声質変換の精度を改善することが出来た．また，(IV)唇情報と音声情報を統合した音声認識手法を文章認識タスクで評価を行い，有効性を示すことが出来た．よって，本申請研究は，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
H26年度では，H25年度の研究を継続しながら，更に，(I)障がい者発話には，ある音素が欠落するといった性質があるため，H25年度の特徴量抽出法に加えて，発話のあいまいさを辞書レベルで吸収する方法を研究開発する．(II)障がい者の感情認識に関するH25年度の研究成果を，新たにカーネル化に基づく高次元空間に拡張する．(III)障がい者音声の声質変換に関しては，H25年度の非負値因子行列分解に基づく声質変換を拡張し，新たにニューラルネットワークに基づく高次元空間における声質変換を導入する．(IV)音声・画像の情報統合による意図認識に関しては，唇情報だけではなく，あごやほほ等の顔部位情報の統合を行い，マルチモーダル発話認識精度の改善を目指す．上記4つのサブテーマにより，新しい障がい者コミュニケーション支援システムの理論確認，及び有効性を確認する．
|
| Expenditure Plans for the Next FY Research Funding |
H25年度に採択された海外ジャーナルの掲載料等について，まだ支払い手続きが完了していない．同ジャーナルの論文掲載料等に関して，次年度へ繰り越しを行うことにした．
同上の理由により，H25年度に採択された海外ジャーナルの掲載料等について，H26年度において支払い手続き行うために使用する．
|
