2022 Fiscal Year Annual Research Report
Musically inspired design of sign sounds for hard-of-hearing people
| Project/Area Number |
21H03759
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
寺澤 洋子 筑波大学, 図書館情報メディア系, 准教授 (70579094)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山内 勝也 九州大学, 芸術工学研究院, 准教授 (10380718)
松井 淑恵 豊橋技術科学大学, 次世代半導体・センサ科学研究所, 教授 (10510034)
平賀 瑠美 筑波技術大学, 産業技術学部, 教授 (70327021)
安 啓一 筑波技術大学, 産業技術学部, 准教授 (70407352) [Withdrawn]
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | モーフィング / 音声 / 音色 / 楽器音 |
|---|
| Outline of Annual Research Achievements |
本研究では，音楽の多次元性を活用し，健聴者，難聴者の両方にとって「わかりやすく」「聞こえやすく」「美しい」サイン音をデザインするための手法を検討する。適切な複雑度が明らかになればこれらの条件を満たすことができる，という仮説のもと，健聴者，高齢難聴者，重度若年性難聴者，模擬難聴者の4つのリスナー群を対象に，聴取実験を行う。2022-2023年度は、楽器の音色の弁別に関する聴取実験を健聴者と若年難聴者を対象に行ったほか、モーフィング音声に関する聴取実験を健聴者（および模擬難聴者）と高齢者を対象に行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
次年度に、音声特徴に関する模擬難聴実験を実施するために、刺激の策定を想定して、モーフィング音声に関する聴取実験と楽器音に関する聴取実験を行った。
音声モーフィング技術を用い、話者識別判断がどう変わるかを調査し、話者弁別の鍵となる鼻音子音を含む単語、含まない単語での比較を行った。音声を異なる話者間でモーフィングし、音響的特徴が変わるときの話者識別の変化を調べた。結果、4モーラ単語中3モーラ目が鼻音であっても話者識別は容易にならなかった。異なる単語を比較する場合、同じ単語を比較するよりも話者識別が難しくなることが示唆された。また、同じ話者の音声を「同じ話者」と同定することは、異なる話者の音声を「異なる話者」と弁別するよりも難しい可能性が示唆された。
また、音声モーフィング技術を用いた感情音声の実験も行った。基本周波数（F0）が感情知覚の手掛かりとなる一方、個人差が大きいことが示唆された。例えば、平静音声を「怒り」と判断する被験者がいた。感情認識の結果への話者の個人性の影響を減らすには、多くの話者によるデータセットが必要である。本研究では、演技未経験者の演技発話を収録し、台本の影響を調査した。
さらに、中度から重度の難聴者が16種類の楽器音を識別する難易度に関しての実験も行った。似た楽器（例えば、二つの弦楽器）の音色識別は異なる楽器（例えば、弦楽器と木管楽器）よりも難しいと仮定した。この仮説に基づき、音色の類似性に基づく楽器群の4つの代替楽器音を組み合わせたISIDを設計した。本研究では、20人の中度から重度の難聴者に対してISIDを用いた楽器音色識別テストを実施し、正答率と反応時間を比較した。その結果、ISIDの3つのレベルで有意な差が見られ、仮説を支持する結果が得られた。
|
| Strategy for Future Research Activity |
次年度は、音声・楽器音・合成音に関する聴取実験を進めるほか、近年のオンライン実験実施に関する探究も行い、よりスムーズな実験手法の構築を検討する。
|
