Transfer characteristics of emotional speech information toward elderly persons with hearing loss and development of novel speech morphing methods
| Project/Area Number |
21K19794
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
入野 俊夫 和歌山大学, システム工学部, 教授 (20346331)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松井 淑恵 豊橋技術科学大学, 次世代半導体・センサ科学研究所, 教授 (10510034)
森勢 将雅 明治大学, 総合数理学部, 専任准教授 (60510013)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2023: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2022: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 感情知覚 / 高齢難聴 / 模擬難聴 / 音声モーフィング / 心理物理実験 / 音声分析合成系WORLD / 対人コミュニケーション / 認知症リスク / 感情伝達 / 音声信号処理 |
|---|
| Outline of Research at the Start |
超高齢社会において、高齢難聴とそれに伴う対人コミュニケーションの低下は認知症リスクのきわめて高い要因となっている。この問題を解決し、より良き対人関係を築くための基盤として、お年寄りに「気持ち」(感情)を伝える際の音声の特徴や知覚特性の解明を試み、理論として定式化する難問に挑戦する。このため代表者らが開発してきた模擬難聴と音声モーフィング技術を用いて聴取実験を行い、その結果を聴覚認知モデルで説明できるようにする。さらに非常に手間のかかる音声モーフィングを自動化する革新的手法の開発を目指し、実験刺激音声作成や各種音声アプリケーションへの応用の可能性を広げる。
|
| Outline of Annual Research Achievements |
超高齢社会において認知症リスクの大きな要因である対人コミュニケーション能力の低下を防ぎ、さらに活性化するために、お年寄りに「気持ち」 (感情)を伝 える際の音声の特徴や知覚特性の解明を試み、理論として定式化する難問に挑戦した。今年度、以下の画期的な成果 をあげることができた。
【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: 高齢難聴者の感情知覚特性に関する新しい実験パラダイムを提案して実験を実施した。前年の実験の問題点を受けて、感情データベースの複数の音声を使用する実験へと変更した。まず、スクリーニングを行い３感情（喜び、悲しみ、怒り）の度合いが大きい音声を主観尺度評価と主成分分析を用いて抽出した。単語ごとに感情間の対に対して、モー フィングで中間的な音声を合成し、それを用いて一対比較法で、健聴者が通常音声を聞く場合、健聴者が模擬難聴音を聞く場合、高齢者が通常音声を聞く場合の３つの条件で、感情弁別実験を行った。この結果、末梢系の聴力損失は感情知覚に影響しないことがわかった。さらに、高齢者は特に「喜びー怒り」間の感情弁別の丁度弁別閾(JND)が有意に高く、判断がむずかしいという従来知られていなかった知見が得られた。この結果をまとめてHigh impact factor 雑誌に報告書作成時点で投稿した。
【2】 音声モーフィングの自動化: WORLD音声分析合成系で音声モーフィングを行うソフトウェアをさらに洗練させた。従来手作業に頼っていた対応点の設定を、自動化する手法を提案した。同一話者の音声であれば、従来必要とされた音素情報を用いなくても、比較的良い音質のモーフィング音を合成できることを示した。当初の目標を概ね達成し、音質向上の課題は残っているものの、今後の完全自動化に向けて大きな前進となった。
|
Report
(3 results)
Research Products
(73 results)
