2017 Fiscal Year Annual Research Report
構音障がい者の複数モダリティを用いたコミュニケーション支援技術の研究
| Project/Area Number |
17H01995
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
滝口 哲也 神戸大学, 都市安全研究センター, 教授 (40397815)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高田 哲 神戸大学, 保健学研究科, 教授 (10216658)
山本 暁生 神戸大学, 保健学研究科, 特命助教 (30758842)
陳 金輝 神戸大学, 計算社会科学研究センター, 助教 (50777810)
中井 靖 宮崎大学, 教育学部, 准教授 (80462050)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | ヒューマン・インターフェース |
|---|
| Outline of Annual Research Achievements |
今年度では，障がい者コミュニケーション支援システムに資する手法の提案，及び実証実験において有効性を確認した．概要は以下の通りである．
(1) 顔画像特徴量を用いた統計的手法による音声変換：無音声の唇動画像から対応する音声を変換する手法を提案した．この技術により，音声障がい者のコミュニケーション支援，音声が欠落した映像からの発話復元など，様々な応用が考えられる. 今年度ではハイスピードカメラで収録した動画像に対し，Gaussian Mixture Model (GMM)を用いた音声変換を行った．客観評価実験により有効性を示した．
(2) 音声合成における言語特徴量の検討：脳性麻痺者を対象として，音声合成を用いて彼らのコミュニケーションを支援するシステムを提案した. 脳性麻痺者の収録音声には，読み上げ時の筋肉の不随意運動により，同一のブレスグループやアクセント句の中に多くの息詰まりなどが存在する．よって，テキストを形態素解析して得られる言語特徴量と学習に用いる音声との間にミスマッチが存在する．今年度では学習及び推定に用いる言語特徴量に使用する特徴を検討することで，より明瞭性の高い音声を作成するシステムを提案した．主観評価実験により話者性と明瞭度の試験を行った結果，提案したモデルで作成した音声は，話者性を維持しており，録音音声と比較して高い明瞭度を示した．
(3)音源復元のための物体振動抽出手法の検討：音響信号の影響により発生した物体の微細振動をハイスピードカメラで捉えることにより，映像から音響信号を復元する手法を検討した．今年度では振幅の大きな画像領域，位相差の大きい画像領域に注目した振動抽出手法を提案し，実験によりその効果を確かめた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の交付申請書では，3つのサブテーマを設定していた. (A)障がい者の発話意図理解については，唇動画像から音声へ変換する技術を提案して，学会などで論文発表を行った．(B)話者性を考慮した音声生成については，例えばBidirectional LSTMによるテキスト音声合成と，声質変換技術を用いることにより，健常者の聞き取り易い声と，発話障がい者の話者性を考慮した音声生成技術を提案し，学会などで論文発表を行った．(C) 顔部位などの微小変化を捉えた認識においても，物体の振動抽出法を提案し，その有効性を示すことができて，学会などで論文発表を行った．本申請課題は，おおむね順調に進展しているといえる.
|
| Strategy for Future Research Activity |
今後は，H29年度の研究成果をもとに研究を遂行していく．
- 研究代表者・研究分担者の間で，定期的に報告会を開催し，研究の進捗状況を協議する．
- 地域障がい者NPO法人の方々とも話し合いを行い，新たな研究の可能性についても調査研究を行う．
- 本プロジェクトを通じて得られた研究成果を国内外の学会等で積極的に研究発表を行う．また，ホームページなどを通じて研究成果を広く公開していき，様々な意見をいただける機会を設け，新たな研究の可能性について検討する．
|
