2021 Fiscal Year Annual Research Report
A Study on Algorithms to Improve Intelligibility of Glossectomy Patients' Speech Using Deep Neural Networks
| Project/Area Number |
18K11376
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
阿部 匡伸 岡山大学, ヘルスシステム統合科学学域, 教授 (70595470)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 直 岡山大学, ヘルスシステム統合科学研究科, 助教 (50402467)
皆木 省吾 岡山大学, 医歯薬学総合研究科, 教授 (80190693)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 舌がん / 音韻明瞭性の改善 / DNN / 声質変換 / 知識蒸留 / 舌亜全摘出者 / 口唇情報 |
|---|
| Outline of Annual Research Achievements |
研究計画調書に記載した課題に関して，令和２年度（２０２１年度）に実施した内容は下記の通り．
（課題１）音韻明瞭度の改善 舌亜全摘出者は舌切除のため構音が不完全であり，その結果，音響特徴量が欠損し音韻明瞭性が劣化している。この欠損した音響特徴量をＤＮＮを用いた声質変換方式を利用して，前後の音韻環境などから復元することを検討してきた。また，さらなる改善を目指して，音響特徴量以外の特徴を補助的に利用することを検討した。具体的な補助情報としては，観測できる口唇形状と，理想的な条件として音韻情報である。その結果，口唇情報の利用により明瞭度の改善は確認できた一方で，音韻情報の利用により破裂音，摩擦音等の子音の明瞭性が顕著に向上することが明らかとなった。さらに，知識蒸留（リッチな情報を用いて教師モデルを構築し，教師モデルが獲得した知識とプアな情報とを用いて生徒モデルを構築する）のアプローチを試み，音響特徴量を生徒モデルに与えるだけでも明瞭度が改善されることを確認した。以上が２０２０年度までの経過である。本年度は，知識蒸留のアプローチのさらなる高度化を検討した。すなわち，口唇情報が明瞭性の改善に効果的であったことから，リッチな情報として新たに口唇情報を加えた。実験の結果，音韻情報だけを用いた場合と比較して，口唇情報を加えると改善度合いが劣化することが明らかとなった。分析の結果，異なる音韻であったとしても，ある時間フレームでは口唇情報が同じ場合があったあることが判明した。つまり，音韻情報から得られた知識と唇の輪郭から得られた情報が矛盾することがあったため，性能が劣化する場合があると考えられる。
|
