2018 Fiscal Year Annual Research Report
構音障がい者の複数モダリティを用いたコミュニケーション支援技術の研究
| Project/Area Number |
17H01995
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
滝口 哲也 神戸大学, 都市安全研究センター, 教授 (40397815)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高田 哲 神戸大学, 保健学研究科, 名誉教授 (10216658)
山本 暁生 神戸大学, 保健学研究科, 特命助教 (30758842)
陳 金輝 神戸大学, 計算社会科学研究センター, 助教 (50777810)
中井 靖 宮崎大学, 教育学部, 准教授 (80462050)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | ヒューマン・インターフェース |
|---|
| Outline of Annual Research Achievements |
今年度は昨年度の成果を元に，障がい者コミュニケーション支援システムに資する手法の提案，及び実証実験において性能の改善を確認した．概要は以下の通りである．
(1) 顔画像特徴量を用いた音声変換：音声情報が含まれていない唇動画像からその唇の動きに対応した音声へと変換する音声生成システムの構築を行った．昨年度までの手法においては，GMM(Gaussian Mixture Model)を用いた唇画像から音声への変換を行っていた．しかしながら，過剰な平滑化の問題，さらに線形変換手法であるため人間の声の特徴を表すスペクトルの推定精度に課題があった．今年度はそれらの課題を解決するため，Bi-LSTM(Bidirectional Long Short Term Memory)を用いた推定手法を提案し，「聞き取りやすさ」調査において提案手法の有効性を示した．
(2) 雑談対話システム：発話意図支援システムのツールとして，今年度は新たに雑談対話システムの構築を行った．従来の雑談システムでは，浅い知識しか組み込まれていなかったが，本システムではユーザ発話を掘り下げるような，深い知識を含んだ応答生成を行うモデルをマルチタスク学習により実現し有効性を示した．
(3) 音声変換：我々が世界に先駆けて提案しているExemplar-based手法に基づく声質変換手法において，さらに改良を行った．具体的には，従来はモデル学習時にパラレルデータ（入力話者と出力話者の同一テキスト発話）を必要としていたが，今年度はパラレルデータを使用しない非負値タッカー分解に基づく辞書学習法を提案し有効性を示した．
(4) ハイスピードカメラによる物体微小振動から音の生成：ハイスピードカメラによる非接触測定による物体微小振動映像から，畳み込みニューラルネットワークに基づく音変換手法を世界に先駆けて提案し有効性を示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度の交付申請書では，3つのサブテーマを設定していた．(A)障がい者の発話意図理解については，唇動画像から音声へ変換する技術として昨年度の技術をさらに改善し有効性を示した．また，今年度は当初の計画に追加して新たに雑談対話システムの構築を行い，機械学習法の一つであるマルチタスク学習による深い知識を組み込んだ雑談応答システムも実現した．(B)音声変換については，パラレルデータを使用しないExemplar-based声質変換手法として非負値タッカー分解に基づく辞書学習法を提案した．さらに当初の計画に追加して，発話障がい者のためのExemplar-based変換手法に基づく高周波成分生成法としてself-reconstructive non-negative matrix factorizationを提案し，学会などで論文発表を行った．(C)ハイスピードカメラによる物体の微小変化を捉えた音声生成においても，深層学習に基づいた物体の振動抽出法を提案し，その有効性を示すことができた．さらに当初の計画に追加して，物体の振動方向に着目し，最も振動の強い方向の振動を復元するという手法を提案し，学会で論文発表を行った．英文ジャーナル3件（国際共著論文1件），査読有り国際会議予稿集7件，国内講演論文集12件（招待講演1件，学生受賞2件）の発表を行い，本申請課題は，当初の計画以上に進展しているといえる．
|
| Strategy for Future Research Activity |
本年度の研究成果をもとに研究をさらに遂行していく．
- 研究代表者・研究分担者・協力者の間で，定期的に報告会を開催し，研究の進捗状況を協議する．
- 地域障がい者NPO法人の方々とも定期的に話し合いを行い，新たな研究の可能性についても調査研究を行う．
- 本プロジェクトを通じて得られた研究成果を国内外の学会等で積極的に研究発表を行う．また，個人ホームページ，所属部局のオープンセンターなどを通じて研究成果を広く公開していき，様々な意見をいただける機会を設け，新たな研究の可能性について検討する．
|
