2019 Fiscal Year Research-status Report

ディープニューラルネットワークによる舌亜全摘出者の音韻明瞭性改善の研究

Research Project

Project/Area Number	18K11376
Research Institution	Okayama University
Principal Investigator	阿部匡伸岡山大学, ヘルスシステム統合科学研究科, 教授 (70595470)
Co-Investigator(Kenkyū-buntansha)	原直岡山大学, ヘルスシステム統合科学研究科, 助教 (50402467) 皆木省吾岡山大学, 医歯薬学総合研究科, 教授 (80190693)
Project Period (FY)	2018-04-01 – 2021-03-31
Keywords	舌がん / 音韻明瞭せいの改善 / DNN / 声質変換 / 舌亜全摘出者 / 口唇情報
Outline of Annual Research Achievements	研究計画調書に記載した課題に関して，令和元年度（２０１９年度）に実施した内容は下記の通り．（課題１）音韻明瞭度の改善　「①-１　調音結合の制約をDNNによりモデル化」については，両方向LSTMと前向きLSTMの性能を比較した結果，両方向は明瞭性よりは自然性，高品質化の効果が大きいことが明らかになった。「①-２唇情報表現の検討」については，音声のスペクトル情報と唇の画像情報の異なる特徴量を扱うことからDNNによる方式で検討を進めた。まず， Kinectにより取得した唇の輪郭とスペクトル情報を利用した結果，母音の明瞭性が向上することが明らかとなった。子音に比べて母音の継続時間長が長いためと考えられる。次に，DNNの特徴を利用して，音韻の情報を補助的に利用する方法を検討した。実験では，正解となる音韻情報を与えて改善の可能性を確認した結果，破裂音，摩擦音等の子音の明瞭性が向上することが明らかとなった。（課題２）患者の発話負担軽減．「②-２疑似舌亜全摘出者音声データベースの構築」については，昨年度作成した下歯を覆うプレートを利用して，３名分の疑似舌亜全摘出者の音声と唇映像の同時収録データベースを構築した．（課題３）リアルタイム動作．「③-２差分スペクトル利用による誤分析対処」については，WORLD方式によって分析し，３層のDNNによるスペクトル推定し，残差信号を利用した声質変換方式により，100ミリ秒の遅れてリアルタイム処理できることが明らかとなった。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究計画調書に記載した下記の課題について，令和元年度（２０１９年度）に全て計画通り進捗したためである．（課題１）音韻明瞭度の改善　「①-３唇情報の利用による音韻明瞭性改善」（課題２）患者の発話負担軽減　「②-２疑似舌亜全摘出者音声データベースの構築」（課題３）リアルタイム動作　「③-２差分スペクトル利用による誤分析対処」，「③-３汎用PCでのリアルタイム処理の実装」
Strategy for Future Research Activity	（課題１）音韻明瞭度の改善　「①-３唇情報の利用による音韻明瞭性改善」については，①-２で検討した唇情報として，唇の輪郭と唇周辺の画像を利用することを比較する。また，唇情報を直接利用する場合と，唇情報から音韻情報を推定して利用する場合とを比較する。（課題２）患者の発話負担軽減　「②-３舌亜全摘出者の類型化」については，②-２のデータを利用して，クラスタリングにより舌亜全摘出者の類型化を検討する．（課題３）リアルタイム動作　「③-３汎用PCでのリアルタイム処理の実装」については，LSTMの利用，唇情報の利用を統合して，汎用PCによってリアルタイム動作するシステムを検討する．品質，計算処理量，処理遅れを評価する．
Causes of Carryover	当初に投稿予定の国際会議がアジアで開催されたため，旅費が少額で済んだため．