ディープニューラルネットワークによる舌亜全摘出者の音韻明瞭性改善の研究

2020 Fiscal Year Research-status Report

• Project/Area Number: 18K11376
• Research Institution: Okayama University
• Principal Investigator: 阿部 匡伸 岡山大学, ヘルスシステム統合科学研究科, 教授 (70595470)
• Co-Investigator(Kenkyū-buntansha): 原 直 岡山大学, ヘルスシステム統合科学研究科, 助教 (50402467) ; 皆木 省吾 岡山大学, 医歯薬学総合研究科, 教授 (80190693)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 舌がん / 音韻明瞭性の改善 / DNN / 知識蒸留 / 声質変換 / 舌亜全摘出者

Outline of Annual Research Achievements

研究計画調書に記載した課題に関して，令和２年度（２０２０年度）に実施した内容は下記の通り．
（課題１）音韻明瞭度の改善　舌亜全摘出者は舌切除のため構音が不完全であり，その結果，音響特徴量が欠損し音韻明瞭性が劣化している。この欠損した音響特徴量をＤＮＮを用いた声質変換方式を利用して，前後の音韻環境などから復元することを検討してきた。また，さらなる改善を目指して，音響特徴量以外の特徴を補助的に利用することを検討した。具体的な補助情報としては，観測できる口唇形状と，理想的な条件として音韻情報である。その結果，口唇情報の利用により明瞭度の改善は確認できた一方で，音韻情報の利用により破裂音，摩擦音等の子音の明瞭性が顕著に向上することが明らかとなった。以上が２０１９年度までの経過である。そこで，深層学習の分野で新たに提案され，着目されている「知識蒸留」のアプローチによる明瞭度改善を検討した。すなわち，リッチな情報を用いて教師モデルを構築し，プアな情報と教師モデルが獲得した情報（蒸留された知識）で生徒モデルを構築する。実験では，音響特徴量と音韻情報を利用して教師モデルを構築し，生徒モデルは，音響特徴量だけを入力として，教師モデルの中間層との誤差と出力層の誤差を最小化するように学習させた。評価実験の結果，音響情報だけを利用するベースラインモデルに比べて音響特徴量が健常者の音声に近づくことが明らかとなった。特に，破裂音や摩擦音での改善が顕著であった。コロナ禍のため，被検者を集めることが困難であったため，主観評価までに至っていない。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初計画の内容は検討済みであり，音韻明瞭度の改善に関して新たなアプローチを考案し，性能改善を確認できたため。コロナ禍の影響で学会発表には至らなかったため，1年間の延長を希望した。・

Strategy for Future Research Activity

（課題１）音韻明瞭度の改善　「知識蒸留」のアプローチによる方式に関して，モデル構造，学習方式の詳細に検討し，客観評価と主観表課を行って，提案方式の有効性を明らかにする。

Causes of Carryover

コロナ禍の影響で学会発表に至るレベルまで研究が進捗しなかったため。