2017 Fiscal Year Annual Research Report
音声処理技術を活用した好感度を改善する発話訓練支援システムの研究
| Project/Area Number |
16H05899
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
森勢 将雅 山梨大学, 大学院総合研究部, 准教授 (60510013)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 教育工学 / 音声情報処理 |
|---|
| Outline of Annual Research Achievements |
本研究は，計算機による発話トレーニングの補助を目標とし，人間が発話する音声から好感度に相当する音響特徴量の抽出・制御法の確立に向けた検討を進めている．
H29年度は，好感度に相当する音響特徴量を明らかにするため，複数の主観評価を実施した．1つ目の実験では，音声の好感度評価の際に，発話のどの部位が最終的な評価に影響するかを明らかにする実験を実施した．実験の結果，発話の前半と後半では，後半のほうが最終的な評価に強く影響することが明らかとなった．2つ目の実験では，話速や抑揚を意図的に変化させるよう教示して発話させた音声を用い，それらの特徴量と主観評価のスコアとの関係性を調査した．こちらは，抑揚と大きさのダイナミックレンジが支配的であり，同時に通常よりもやや高い音声が好まれる傾向が得られた．また，男女の発話で好まれる音響特徴量が異なる（男性は大きな声であることがより好まれるなど）が示された．
音声から好感度を推定するモデルを構築するため，音声パラメータの符号化に関する検討も実施した．従来の音声パラメータは，統計的な学習をするためには膨大なサイズであるため，現在の合成音声の品質を損なわないという条件下においてパラメータを圧縮する方法を検討した．これらの検討結果から，既存の方法と比べて高い品質と圧縮率を両立する符号化法を確立することができた．
最後に，これまでの検討を受けて，好感度を改善するための声質変換法を試作した．従来の研究では，高さの変換を実施していたが，本研究では，これまでの実験により得られた知見を活用し，スペクトル包絡（音色）の加工によるアプローチに着手した．試作した方法の有効性を主観評価により検証したところ，全ての話者において有効な効果は得られていないが，特定話者について有意に好感度を改善できることが示された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画どおり，音声評価において時間毎に評価の重みが異なるという仮説を検証した．検証の結果，発話の後半ほど最終的な好感度スコアに近いという新たな知見を示すことができた．好感度に対応する音響特徴量の検討や，好感度推定モデルの構築も順調に進んでおり，発話から好感度を採点するためのシステムの実装も概ね完了している．好感度を向上させる声質変換技術はH30年度の課題であるが，H29年度の検討を踏まえて前倒しで試作することができた．好感度音声データベースについては論文の査読中であり，採録され次第公開する．データベース公開は当初の計画よりやや遅れているが，声質変換技術を前倒しで進めていることから，総合的には順調に進展していると判断できる．
|
| Strategy for Future Research Activity |
H29年度に試作した好感度を改善する声質変換法を改良し，どの話者にも適用可能なようにする．現在は，スペクトル包絡の制御のみで実現しているが，関連研究でも示されている基本周波数（高さ）の制御を組み合わせることで相乗効果を狙う．さらに，抑揚の大きさや発話速度など多様な加工を組み合わせることで，より高度な変換技術へと発展させる．特に，H29年度に提案した方法は，全体的に悪影響はないものの，話者により効果がまちまちであったため，その原因を究明する．元々の好感度が十分に高い発話はそのまま，好感度が低い話者の発話を適切なパラメータを用いて加工することで，誰でも高い好感度の発話が得られるようにする．そのため，好感度評価システムから変換関数の最適値を導くことに挑戦する．
次いで，これまでの研究で得られた音声評価法と新たに提案する声質変換法を組み合わせ，発話の好感度評価から改善したお手本を示すまでをまとめた発話トレーニングシステムの試作を行う．声の大きさも評価に含まれることから，現段階では発話者とマイクの距離を固定するなど，利用状況を限定した仕様で動作するプロトタイプの実装を目標とする．目標とするスマートフォンのアプリケーションとして実装することは，最終年度に検討する．
|
