2019 Fiscal Year Annual Research Report
構音障がい者の複数モダリティを用いたコミュニケーション支援技術の研究
| Project/Area Number |
17H01995
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
滝口 哲也 神戸大学, 都市安全研究センター, 教授 (40397815)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高田 哲 神戸大学, 保健学研究科, 名誉教授 (10216658)
陳 金輝 神戸大学, 計算社会科学研究センター, 助教 (50777810)
中井 靖 宮崎大学, 教育学部, 准教授 (80462050)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | ヒューマン・インターフェース |
|---|
| Outline of Annual Research Achievements |
今年度は昨年度までの成果をもとに，障がい者コミュニケーション支援システムに資する手法の提案，及び実証実験において性能のさらなる改善を確認した．概要は以下のとおりである．
(1) 複数データベースを利用した音声認識：構音障がい者は発話による身体への負担が大きいため，大量の音声データを収録することは難しい．今年度は評価対象である日本人構音障がい者の音声だけでなく，外国人構音障がい者と日本人健常者の音声を用いることによるデータ拡張を行った．提案手法では，構音障がいを持つ日本人話者と外国人話者で音響モジュールを共有し，日本人障がい者と日本人健常者で言語モジュールを共有する構造を持つEnd-to-Endモデルを構築し，音声認識実験により提案手法の有効性を示した．
(2) 音声合成：今年度は構音障がい者の少量発話データによる深層学習に基づいた音声合成の検討を行った．具体的には健常者音声で学習したモデルと構音障がい者の音声で再学習したモデルを用いることで音声を生成する手法を提案した．また構音障がい者の発話解析を行った結果，2000Hzから4000Hzにおいてパワーが弱くなる傾向が見られた．そこで健常者の子音を用い，構音障がい者の欠損した子音の置換を行うことで，明瞭性改善を実現した．
(3) Lip readingによる発話認識：今年度は，teacher-student (TS) 学習による音声認識ネットワークからLip-readingネットワークへの知識蒸留手法を提案した．具体的には，TS学習を異なるモダリティ間（音声と唇画像）での知識蒸留に応用し，情報量の多い音声認識モデルを用いて，情報量の少ないLip-readingモデルを学習した．評価実験により，TS学習に基づく提案手法の有効性を示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度の交付申請書では，3つのサブテーマを設定していた．(A)発話意図理解については，複数データベースを利用した少量学習データに対応した新たなEnd-to-Endモデルを導入し，昨年度の技術をさらに改善し有効性を示した．また，当初の計画に追加して新たに外部知識を用いた雑談対話システムの汎化性能向上も行った．(B)音声合成については，少量学習データを用いた構音障がい者音声合成音の明瞭性改善を実現し，学会などで論文発表を行った．また，当初の計画に追加して，自由な歌唱速度の歌声の合成に関する研究も行った．本技術は，故人の歌声の再現や病気等で声を失った患者の歌声の再現などの利用が考えられる．(C)カメラ映像を用いた音声処理においては，Lip reading のためのクロスモーダルTeacher-Student学習を提案し，その有効性を示すことができた．さらに当初の計画に追加して，ニューラルネットワークの学習効率化に関する研究も行った．具体的には，画像データを適用する際に，深層学習に用いられるニューラルネットワークはその規模に伴い計算量も増加し，学習の安定化や高速化が重要な課題となる．学習の安定化や高速化を妨げる要因として損失関数の非線形性が考えられるため，本研究では，その非線形性を解析する手法として，Block Hessianを導入することによりニューラルネットワークのパラメータグループごとの非線形性の影響変化の可視化を実現した．
英文ジャーナル3件，査読有り国際会議予稿集5件，国内講演論文集22件の発表を行い，本申請課題は，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
本年度の研究成果をもとに研究をさらに遂行していく．
- 研究代表者・研究分担者・協力者の間で，定期的に報告会を開催し，研究の進捗状況を協議する．
- 地域障がい者NPO法人の方々とも定期的に話し合いを行い，新たな研究の可能性についても調査研究を行う．
- 本プロジェクトを通じて得られた研究成果を国内外の学会等で積極的に研究発表を行う．また，個人ホームページなどを通じて研究成果を広く公開していき，様々な意見をいただける機会を設け，新たな研究の可能性について検討する．
|
