2021 Fiscal Year Research-status Report
Transfer characteristics of emotional speech information toward elderly persons with hearing loss and development of novel speech morphing methods
| Project/Area Number |
21K19794
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
入野 俊夫 和歌山大学, システム工学部, 教授 (20346331)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松井 淑恵 豊橋技術科学大学, 工学(系)研究科( 研究院), 准教授 (10510034)
森勢 将雅 明治大学, 総合数理学部, 専任准教授 (60510013)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Keywords | 感情伝達 / 高齢難聴 / 模擬難聴 / 音声モーフィング / 心理物理実験 / 音声分析合成系WORLD / 対人コミュニケーション / 認知症リスク |
|---|
| Outline of Annual Research Achievements |
超高齢社会において認知症リスクの大きな要因である対人コミュニケーション能力の低下を防ぎ、さらに活性化するために、お年寄りに「気持ち」 (感情)を伝える際の音声の特徴や知覚特性の解明を試み、理論として定式化する難問に挑戦する。今年度は以下の2つの実績をあげることができた。
【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化： 模擬難聴システムWHISの音声を聴取する健聴者と、実際の高齢者（70代男性）が知覚する感情（怒り）の強度が異なるかどうかを調べた。その結果、高齢者が健聴者と同じ強さの怒りを感じるには、モーフィング音声における怒り音声の割合を5%増やす必要があることが明らかになった。ただし、この現象は女声でのみ見られた。話者の性別か個人差によるものかは今後検討する予定である。模擬難聴システムWHISのさらなる高度化／高精度化のため、独自開発のガンマチャープ聴覚フィルタバンクをさらに改良した上で、見通し良く実装しなおした新バージョンWHISv30を作り、音声品質も保たれることも示した。論文化を進めている。さらに、心理実験を防音室だけではなく遠隔でも実施できるように、ブラウザで動作する実験用Web pageを開発し、安定に運用できるようにした。
【2】 音声モーフィングの自動化：【1】の刺激音作成に関して、感情音声間のモーフィングを数年前に開発したツールを用いて手作業で実施してきた。しかし、バージョンが古いゆえか動作が遅く、さらにバグで落ちやすく使い勝手が悪いことが判明した。この状況では、今後の実験刺激作成や自動化に不安が残る。そこで、最新の音声分析変換合成システムWORLDを使ったGUIの構築を、スクラップ＆ビルドで開始した。この中で、一番基礎となる分析変換合成部分のGUIは出来、試用を開始することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化：感情知覚実験を、高齢者と模擬難聴者を対象として実際に実施でき、順調である。また、基盤となるWHISに関しても見通しの良い新実装ができたため、今後の進展が期待できるようになった。
【2】音声モーフィングの自動化：当初、手持ちのモーフィングツールが十分役に立つはずとの前提で研究を開始したが、難点が出てきた。それゆえ後戻りに見える、スクラップ&ビルドしなおすことになった。しかし、逆にこのことは、今後の開発において、むしろ見通しが良くなったと考えられる。その意味では順調と言える。
|
| Strategy for Future Research Activity |
【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化：まずは、【2】で開発している音声モーフィングシステムを、安定して実験刺激作成ができるレベルまで引き上げる。その上で、モーフィングの対象を研究機関間で調整して、感情伝達特性を測定する。その結果を全般的に分析して論文化するとともに、実験でまだカバーできていない部分を補完するように進める。
【2】音声モーフィングの自動化：当初、手持ちのモーフィングツールが十分役に立つはずとの前提で研究を開始したが、難点が出てきた。それゆえ後戻りに見える、スクラップ&ビルドしなおすことになった。しかし、逆にこのことは、今後の開発においてソフト記述の最新化が図れるので、むしろ見通しが良くなったと考えられる。今後、手動モーフィング手法を安定に運用できることを確かめた上で、提案した音声特徴量（LSP等）を用いた自動モーフィングに挑戦する。
|
| Causes of Carryover |
旧バージョンの音声モーフィングソフトが十分に活用しにくかったため、実験も限定的になった。高齢者と模擬難聴者の対比を1:1で実施したいが、コロナのため高齢者の防音室実験を実施することもかなわなかった。このことから、謝金支払いが減った。さらに、ほとんどすべての国内／国際会議がコロナのためオンラインに移行したため、旅費の支払いもほとんど不要となり、現地開催が期待される次年度にまわすこととした。
|
