2014 Fiscal Year Research-status Report
声帯振動の特殊性に起因する声質を制御可能な音声分析合成方式の開発
| Project/Area Number |
25870883
|
|---|
| Research Institution | Meijo University |
|---|
Principal Investigator |
坂野 秀樹 名城大学, 理工学部, 准教授 (20335003)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 音声分析合成システム / 声帯振動のモデル化 / 声質制御 / 並列化 / GPGPU / 携帯端末 |
|---|
| Outline of Annual Research Achievements |
平成26年度は、(1)特殊な声帯振動の声質制御システムの構築と(2)音声分析合成アルゴリズムの高速化及び実装に関する検討を重点的に行った。
(1)については、平成25年度の検討では、スクリーム唱法による歌唱音声を主に使用してきたが、平成26年度は、ささやき声に近い歌唱音声である息漏れ歌唱の音声も追加で用いて検討を進めた。平成25年度の検討の結果から、歌唱音声の声帯振動の違いが、帯域ごとに算出した残差スペクトルの尖度に極めて明確に表れることが判明しており、息漏れ歌唱音声でもその傾向が観察された。また、平成25年度に開発した、帯域ごとに残差スペクトルの尖度と群遅延の値との対応関係を予め算出しておき、この対応関係に基づいて入力音声の群遅延スペクトルの変動特性を変化させるという手法を用い、声質制御システムの構築を進めている。
(2)については、我々の研究グループが音声分析合成システムの基盤として用いているSTRAIGHTの高速化と携帯端末への実装・評価を行った。現在のSTRAIGHTにおいては、基本周波数抽出部であるXSXの計算負荷が高いことが分かっている。XSXにおいては、STRAIGHTにおける心臓部とも言うべきパワースペクトル推定部と同等の処理がかなりの回数実行されている。XSXにおけるこの処理は、独立性が高く、並列に実行することも可能である。今回の検討では、この処理を、PCにおけるGPGPUによる並列化と、PC及び携帯端末におけるマルチスレッドによる並列化を行って実装し、処理速度の比較を行った。その結果、フレームシフトが5msの設定の場合においては、スマートフォンやタブレットでも高速なものであれば実時間以下の時間で処理できることが明らかとなった。さらに、今回用いたデバイスの全てがマルチコアCPUを持つものであり、マルチスレッドを用いた実装による効果が大きいことが分かった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
音声分析合成アルゴリズムの高速化及び実装については、複数の並列化方法による実装や様々な携帯端末への実装と評価が完了しており、順調に研究が進展していると言って良い。特殊な声帯振動の声質制御システムの構築についても、これまでの成果を実装する部分については概ね順調に進展している。
平成26年度に重点的に検討を進めてきた声帯振動の特殊な音声に対するピッチ周波数の推定に関する検討については、一定の成果はあったものの、極端にランダム性の高いスクリーム唱法や、気息性の極めて高い息漏れ歌唱の音声に対しては、ピッチ周波数と関連の高い明確な情報を取り出すことはできなかった。
その他の研究項目については、ピッチ周波数の推定に関する検討以外は概ね順調に進展していると考えている。
|
| Strategy for Future Research Activity |
平成27年度は、ここまでに構築した声質制御システム・話者変換システムの高品質化を推し進める。GPGPUによる計算上の工夫により、オフライン処理のものと比べて劣化なしにシステムがリアルタイム動作するように実装を行っていく。そして、主観評価実験・客観評価実験によりシステムの評価を行うとともに、その結果を分析合成方式のアルゴリズムへとフィードバックし、更なる改良を進めていく。
声帯振動の特殊な音声に対するピッチ周波数の推定に関する検討については、聴覚フィルタバンクによる処理を試すなど様々な分析方法を適用し、突破口を見つけるべく努力を続けていく。
|
| Causes of Carryover |
年度末に学会発表を行い、参加費は当日支払いのため、帰任後の提出では学内の支払依頼書類提出締切に間に合わない可能性があり、参加費の支払いを次年度に持ち越すこととした。
|
| Expenditure Plan for Carryover Budget |
すでに参加費の支払依頼書類の提出は済ませており、持ち越した額はほぼ消化することとなる。
|
Research Products
(7 results)
