音声を中心とした２話者混在メディア加工手法に関する実験的検討

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K12058
• Research Institution: Gunma National College of Technology
• Principal Investigator: 川本 真一 群馬工業高等専門学校, 電子情報工学科, 准教授 (70418507)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 話者混合 / 音声モーフィング

Outline of Annual Research Achievements

本研究課題は，二人の音声から抽出した特徴を混ぜることにより作成した音声の中に，混ぜた二人の話者の情報がどのように知覚されるかを実験的に検討するものである．この手段として，音声を特徴量レベルで混合する「音声モーフィング」という技術をつかう．現時点で扱う特徴量としては，スペクトル包絡情報，基本周波数情報を主として考えているが，当該年度は主にスペクトル包絡情報の加工に焦点を当てて検討を進めた．
当該年度では主に，音声モーフィングにおけるスペクトル包絡情報の中に，局所的な特徴を定義し，その特徴を音声モーフィングの枠組みで加工する手法について検討を進めた．音声の言語的な情報に関連すると考えられるフォルマント周波数などでは，スペクトル包絡のピークのエネルギーやその周波数を中心として取り扱っている．一方で，声色については，そのようなフォルマント周波数以外でのスペクトル包絡形状も起因していると考えられる．２名の話者が同一文章を発話した音声に対して，主要なエネルギー集中が見られるピークの部分は共通と見なし，その他の部分は話者依存が強いと見なした簡易な分離処理により，話者共通と見なす部分のスペクトル包絡のモーフィングと，話者依存が強い部分のスペクトル包絡のモーフィングを別々に扱う方法を検討した．話者Aから話者Bへのモーフィングを題材とした手法の基礎検討として，スペクトル包絡に起因する２種の特徴を独立して加工できることを確認した．今後は，これらの加工手法を基に，聴取印象の実験を進めていく予定である．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

コロナ禍の影響もあり，聴取実験の被験者確保や実験実施が思うように設定できず，聴取印象に関する評価が進められていない．そのため，外部発表をするまでには至っていない．一方で，音声モーフィングの加工に関する検討を並行して進めることで，スペクトル包絡情報の加工の自由度を上げるための検討を進めることが出来た．以上により，当初予定していた研究計画はやや遅れていると判断した．

Strategy for Future Research Activity

当初の予定を遂行することを視野に入れつつも，今後も実験協力者が十分に確保できない事態への対応も想定し，研究テーマの発展的な派生についても並行して模索する．一方で，聴取実験の結果が整い次第，外部発表につなげるよう検討を進める．

Causes of Carryover

コロナ禍における実験協力者を要する聴取印象実験や音声収録などが思うように設定できる状況が作れず，関連する物品購入や謝金などが進んでいない．また，学会発表や情報収集等に関連する旅費等の支出も行われなかった．これらは，次年度に社会情勢等の状況をみつつ，順次進める計画である．