| 研究課題/領域番号 |
18K11376
|
|---|
| 研究機関 | 岡山大学 |
|---|
研究代表者 |
阿部 匡伸 岡山大学, ヘルスシステム統合科学研究科, 教授 (70595470)
|
|---|
| 研究分担者 |
原 直 岡山大学, 自然科学研究科, 助教 (50402467)
皆木 省吾 岡山大学, 医歯薬学総合研究科, 教授 (80190693)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 音声明瞭性 / 声質変換 / 深層学習 / 口唇形状 / 舌癌 |
|---|
| 研究実績の概要 |
研究計画調書に記載した課題に関して，平成３０年度（２０１８年度）に実施した内容は下記の通り．
（課題１）音韻明瞭度の改善 「①-１ 調音結合の制約をDNNによりモデル化」 については，時間変化のモデリングに有効であるとされているLSTMにより変換関数を構成した．時間変化の重要性を確認するため，両方向のLSTMを実装し，変換音声の滑らかさが向上することを確認した．「①-２唇情報表現の検討」については， Kinectにより唇の輪郭を音声と同期して収録するシステムを構築した．また，顔の向きを補正して正面向きの唇の輪郭に補正する方式を開発した．さらに，音声と同じフレームレートで扱うために，時間方向に補間を行う方式を実装した．
（課題２）患者の発話負担軽減 「②-１器具による舌亜全摘出者模擬方法」については，舌の動きを抑制するために，下歯を覆うプレートを作成した．このプレートを装着して音声収録を行い，スペクトル分析によって舌亜全摘出者を模擬できることを確認した．「②-２疑似舌亜全摘出者音声データベースの構築」については， ②-１で作成したプレートを用いて，話者１名に対して，疑似舌亜全摘出者の音声と唇映像の同時収録データベースを構築した．
（課題３）リアルタイム動作 「③-１各種音声分析法の処理速度評価」については，スペクトル抽出法として，STRAIGHT方式，WORLD方式，FFT方式を比較した結果，WORLD方式によって，リアルタイムで処理できることが明らかとなった．「③-２差分スペクトル利用による誤分析対処」については，残差信号の利用した声質変換方式を実装した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究計画調書に記載した下記の課題について，平成３０年度（２０１８年度）に全て計画通り進捗したためである．
（課題１）音韻明瞭度の改善 「①-１ 調音結合の制約をDNNによりモデル化」，「①-２唇情報表現の検討」
（課題２）患者の発話負担軽減 「②-１器具による舌亜全摘出者模擬方法」，「②-２疑似舌亜全摘出者音声データベースの構築」
（課題３）リアルタイム動作 「③-１各種音声分析法の処理速度評価」，「③-２差分スペクトル利用による誤分析対処」
|
| 今後の研究の推進方策 |
（課題１）音韻明瞭度の改善 「①-１ 調音結合の制約をDNNによりモデル化」については，両方向LSTMと前向きLSTMの性能を比較し，後ろ向きの時間変化情報の効果を明らかにする．また，時間窓長の影響を明らかにして，調音結合のモデリング効果を明らかにする．「①-２唇情報表現の検討」については，唇情報として，唇の輪郭に加えて，2次元画像の利用を検討する．「①-３唇情報の利用による音韻明瞭性改善」については，DNNは異種の特徴パラメータを扱えるため，音声特徴を利用した①-１の方式に対して，①-２で検討した唇情報を導入して精度向上を図る．
（課題２）患者の発話負担軽減 「②-２疑似舌亜全摘出者音声データベースの構築」については，昨年度作成したプレートを用いて，被検者を増やして，疑似舌亜全摘出者の音声と唇映像の同時収録データベースを構築する．「②-３舌亜全摘出者の類型化」については，②-２のデータを利用して，クラスタリングにより舌亜全摘出者の類型化を検討する．
（課題３）リアルタイム動作 「③-２差分スペクトル利用による誤分析対処」については，残差信号の利用することの効果を，明瞭性と自然性の観点から明らかにする．「③-３汎用PCでのリアルタイム処理の実装」については，汎用PCによって数十ミリ秒の遅れで動作するシステムを構築する．品質，計算処理量，処理遅れを評価する．
|
| 次年度使用額が生じた理由 |
３０年度に国際会議発表を予定していたが，科研費採択決定後に適切な国際会議がなかっため投稿しなかったため，旅費が不要となった．次年度の国際会議への旅費として利用する．
|
