| Project/Area Number |
17J04380
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Perceptual information processing
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
高島 悠樹 神戸大学, システム情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2017-04-26 – 2020-03-31
|
| Project Status |
Completed (Fiscal Year 2019)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2019: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2018: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2017: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 転移学習 / マルチリンガル / マルチモーダル / データ拡張 / 声質変換 |
|---|
| Outline of Annual Research Achievements |
アテトーゼ型脳性麻痺による構音障がい者にとって，発話行為は身体への負担が大きく，大量の発話を行うことは難しい．そのため，学習データとして使えるデータ量は限られてくる．そこで，構音障害を持つ目標話者の限られた発話量から学習可能な音声認識システムの構築が必要となる．
本研究では，構音障害を持つ英語話者，及び日本人健常者の音声を用いた転移学習を提案する．構音障害を持つ日本語話者を対象とした音声コーパスは存在せず，我々の研究室で収録したものしかないため，データ量は非常に限られている．しかし，構音障害を持つ外国語話者の音声コーパスは利用可能なものがいくつか公開されている．また，日本人健常者の音声コーパスも多く公開されている．提案手法ではこれらのデータベースを用いてモデルパラメータを初期化することで，目標話者の少量データからでも十分な学習を可能にする．しかし，従来の音声認識モデルは複数言語での利用はできなかった．そこで，言語固有の音素推定器を持つモデルを提案し，複数言語での学習を可能にした．提案手法により，構音障害固有の音響的特徴は英語障がい者発話から，日本語生成に必要な言語的特徴は日本語健常者発話から転移させることが期待できる．音素認識実験により，追加のデータベースを用いることで認識性能を大きく向上させることが確認された．この研究成果は1件の英文学術論文誌に採択されている．
また，音声だけでなく唇動画像も用いたマルチモーダル音声認識に関する研究も行った．複数モーダルの利用は特徴量の補完という観点から障がい者への応用も期待できる．音声認識モデルにより学習された情報を用いて唇画像モデルを学習する知識蒸留技術に基づき，唇の動きから発話内容を認識するリップリーディングの性能向上を達成し，さらに，それに基づくモデル適応を提案した．この手法は国内学会にて発表済みであり，英文論文誌へ投稿予定である．
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
