2022 Fiscal Year Research-status Report
Transfer characteristics of emotional speech information toward elderly persons with hearing loss and development of novel speech morphing methods
| Project/Area Number |
21K19794
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
入野 俊夫 和歌山大学, システム工学部, 教授 (20346331)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松井 淑恵 豊橋技術科学大学, エレクトロニクス先端融合研究所, 教授 (10510034)
森勢 将雅 明治大学, 総合数理学部, 専任准教授 (60510013)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Keywords | 感情伝達 / 高齢難聴 / 模擬難聴 / 音声モーフィング / 心理物理実験 / 音声分析合成系WORLD / 対人コミュニケーション / 認知症リスク |
|---|
| Outline of Annual Research Achievements |
超高齢社会において認知症リスクの大きな要因である対人コミュニケーション能力の低下を防ぎ、さらに活性化するために、お年寄りに「気持ち」 (感情)を伝 える際の音声の特徴や知覚特性の解明を試み、理論として定式化する難問に挑戦する。今年度は以下の2つの実績をあげることができた。
【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: 模擬難聴システムWHISの音声を健聴者が聴取した場合の感情知覚特性に関して実験を行った。一人の話者の「はい」の感情音声のうち、喜びと悲しみのラベルがついているものに関し、声道長を変化させ複数人の声に変換したのち、モーフィングで中間的な音声を合成した。一対比較法で実施し、丁度弁別閾(JND)と主観的等価点(PSE)を算出した。その結果、模擬難聴の有無にかかわらずPSEに変化がなく、JNDも想定した以上に良かった。JNDの値を検討したところ、感情知覚よりもピッチ知覚で判別されていることが推察された。つまり目論んでいた実験とはなっていないことが結果的にわかった。この知見に基づき、次年度の実験計画案を策定した。また、バリエーションを増やすため複数話者の感情音声を集めた。ただし、発話者は感情表現ができる役者ではなく素人であったので、第３者による感情評定や、台本の影響について調査した。
【2】 音声モーフィングの自動化: WORLD音声分析合成系で音声モーフィングを高品質で実行できるようにソフトを整備した。品質を高く保ったまま、中間的な音声を合成できることを確認した。これを受けて【1】の刺激音作成に使用した。自動化に関しては、まだ検討段階ではあるが着実に知見を蓄えつつある。特徴の対応点の数と品質に関する検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: 感情知覚実験を模擬難聴者を対象と実施し結果を得た。目的に合致した実験とならなかったことが結果的にわかったが、これも次年度以降の実験構築の大きな知見となった。次年度期待できるようになったため、おおむね順調である。
【2】音声モーフィングの自動化: 基盤となるモーフィングツールを構築することができた。自動化に関してはまだであるが、検討を通して見通しも良くなってきた。
|
| Strategy for Future Research Activity |
【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: さまざまな感情音声単語を用いてモーフィングを行い、まずは模擬難聴者で実験する予定である。コロナの状況も改善がみられるので、実際の高齢難聴者の知覚特性についても実験を行う。
【2】音声モーフィングの自動化: 手動モーフィングが安定にできることがわかったため、提案した音声特徴量(LSP等)を用いた自動モーフィングに挑戦する。
|
| Causes of Carryover |
コロナ禍のため、学会がオンラインになり出張旅費がそれほどなかった。また、高齢者を対象とした実験もできなかったためその費用が残った。次年度は状況が改善するため、旅費・謝金の両方に使用する予定である。
|
