| 研究課題/領域番号 |
18K11376
|
|---|
| 研究機関 | 岡山大学 |
|---|
研究代表者 |
阿部 匡伸 岡山大学, ヘルスシステム統合科学研究科, 教授 (70595470)
|
|---|
| 研究分担者 |
原 直 岡山大学, ヘルスシステム統合科学研究科, 助教 (50402467)
皆木 省吾 岡山大学, 医歯薬学総合研究科, 教授 (80190693)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 舌がん / 音韻明瞭せいの改善 / DNN / 声質変換 / 舌亜全摘出者 / 口唇情報 |
|---|
| 研究実績の概要 |
研究計画調書に記載した課題に関して，令和元年度（２０１９年度）に実施した内容は下記の通り．
（課題１）音韻明瞭度の改善 「①-１ 調音結合の制約をDNNによりモデル化」については，両方向LSTMと前向きLSTMの性能を比較した結果，両方向は明瞭性よりは自然性，高品質化の効果が大きいことが明らかになった。「①-２唇情報表現の検討」については，音声のスペクトル情報と唇の画像情報の異なる特徴量を扱うことからDNNによる方式で検討を進めた。まず， Kinectにより取得した唇の輪郭とスペクトル情報を利用した結果，母音の明瞭性が向上することが明らかとなった。子音に比べて母音の継続時間長が長いためと考えられる。次に，DNNの特徴を利用して，音韻の情報を補助的に利用する方法を検討した。実験では，正解となる音韻情報を与えて改善の可能性を確認した結果，破裂音，摩擦音等の子音の明瞭性が向上することが明らかとなった。
（課題２）患者の発話負担軽減．「②-２疑似舌亜全摘出者音声データベースの構築」については，昨年度作成した下歯を覆うプレートを利用して，３名分の疑似舌亜全摘出者の音声と唇映像の同時収録データベースを構築した．
（課題３）リアルタイム動作．「③-２差分スペクトル利用による誤分析対処」については，WORLD方式によって分析し，３層のDNNによるスペクトル推定し，残差信号を利用した声質変換方式により，100ミリ秒の遅れてリアルタイム処理できることが明らかとなった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究計画調書に記載した下記の課題について，令和元年度（２０１９年度）に全て計画通り進捗したためである．
（課題１）音韻明瞭度の改善 「①-３唇情報の利用による音韻明瞭性改善」
（課題２）患者の発話負担軽減 「②-２疑似舌亜全摘出者音声データベースの構築」
（課題３）リアルタイム動作 「③-２差分スペクトル利用による誤分析対処」，「③-３汎用PCでのリアルタイム処理の実装」
|
| 今後の研究の推進方策 |
（課題１）音韻明瞭度の改善 「①-３唇情報の利用による音韻明瞭性改善」については，①-２で検討した唇情報として，唇の輪郭と唇周辺の画像を利用することを比較する。また，唇情報を直接利用する場合と，唇情報から音韻情報を推定して利用する場合とを比較する。
（課題２）患者の発話負担軽減 「②-３舌亜全摘出者の類型化」については，②-２のデータを利用して，クラスタリングにより舌亜全摘出者の類型化を検討する．
（課題３）リアルタイム動作 「③-３汎用PCでのリアルタイム処理の実装」については，LSTMの利用，唇情報の利用を統合して，汎用PCによってリアルタイム動作するシステムを検討する．品質，計算処理量，処理遅れを評価する．
|
| 次年度使用額が生じた理由 |
当初に投稿予定の国際会議がアジアで開催されたため，旅費が少額で済んだため．
|
