音声を中心とした２話者混在メディア加工手法に関する実験的検討

2022 Fiscal Year Research-status Report

• Project/Area Number: 19K12058
• Research Institution: Gunma National College of Technology
• Principal Investigator: 川本 真一 群馬工業高等専門学校, 電子情報工学科, 准教授 (70418507)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: 話者混合 / 音声モーフィング

Outline of Annual Research Achievements

本研究課題は，二人の音声から抽出した特徴を混ぜることにより作成した音声の中に，混ぜた二人の話者の情報がどのように知覚されるかを実験的に検討するものである．この手段として，音声を特徴量レベルで混合する「音声モーフィング」という技術を利用した．現時点で扱う特徴量としては，主にスペクトル包絡情報の加工に焦点をあてて検討を進めた．
本研究課題では特に，音声モーフィングにおけるスペクトル包絡情報を，「フォルマント周波数とその周辺のスペクトル包絡上の特徴点を補間した平滑化スペクトル」と「元のスペクトル包絡と平滑化スペクトルとの差分で表現する差分スペクトル」とに分け，それぞれに独立して音声モーフィングにおける混合重みを設定して加工した音声刺激に対して，どのように話者の情報が知覚されるかについて検討を進めている．
当該年度では主に，一方の話者の音声スペクトルと，２話者のスペクトルを混合したスペクトルとのスペクトル歪み量が同程度となるような複数の混合条件下において，２名の話者それぞれの音声及びモーフィング音声を聞かせ聴取印象を回答してもらう実験を行い，実験条件の検討を行った．なお現時点では明確な規則性が確認できるデータを得るには至っていない．
今後は，実験結果の信頼性確保に向けて，実験に使用するデータの拡充および追加の聴取実験を進めていく予定である．特に，評価用音声の収録に加え，発話時の映像も同期収録し，評価に加えることを検討する予定である．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

現時点では，音声加工の検討及びその結果を用いたモーフィング音声の聴取印象に関する予備検討まではできているが，実験協力者の確保や実験実施が思うように設定できず，評価が十分に進められていない．

Strategy for Future Research Activity

引き続き，実験を注意深く積み重ねることで評価データの収集を進め，結果の分析を進める．

Causes of Carryover

検証実験のためのデータ収録実験について，コロナ禍でほとんど進めることができなかった．このため，実験にかかわる謝金や外部発表関連の出張費などの支出が行われなかった．
次年度は，データ収録実験を進めるための謝金や収録機材関連消耗品，収録データを整備・保管するためのHDD等の計算機関連消耗品，および成果発表のための旅費，学会参加費等に支出する見込みである．