2022 Fiscal Year Annual Research Report
Foundation of speech communication support based on auditory perception models for everyone including elderly persons with hearing impairment
| Project/Area Number |
21H03468
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
入野 俊夫 和歌山大学, システム工学部, 教授 (20346331)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松井 淑恵 豊橋技術科学大学, エレクトロニクス先端融合研究所, 教授 (10510034)
小林 洋介 室蘭工業大学, 大学院工学研究科, 助教 (10735103)
坂野 秀樹 名城大学, 情報工学部, 教授 (20335003)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 音声聴覚支援 / 音声了解度 / 模擬難聴 / 客観評価指標 / 主観評価 / 聴覚モデル / 音声明瞭度 / 難聴 |
|---|
| Outline of Annual Research Achievements |
研究実績の概要
【1】聴覚末梢系特性の的確な推定と聴覚末梢モデルGCFBの高精度化: 聴覚フィルタ推定において絶対閾値とレベル依存雑音を導入し再計算した結果インパクトの高い結果が得られた。論文投稿して条件付き採録となった。GCFBの改良版に関しても、以下のWHISの論文に含めて記述した。
【2】模擬難聴システムWHISへの時間応答特性劣化の導入と高度化: 模擬難聴システムWHISの論文に関して、内容の充実と記述の洗練化を行った上で投稿準備をした（R5年4月に投稿完了)。時間応答特性劣化の導入に関して、この過程で見通しを得ることができた。
【3】高齢難聴者の音声/環境音知覚特性の明確化: WHISを用いた健聴者での音声了解度実験を、昨年の男声に引き続き女声に関しても、防音室とクラウドソーシング遠隔実験で行った。その際、R3年度に開発したデータスクリーニング手法(今年度国際会議発表済)を、参加者の事前スクリーニングにも適用すると結果のばらつきをかなり抑えられることも示した。この他にも、理想的な強調処理の音声了解度実験も防音室とクラウド遠隔で実施した。R5には高齢者実験も再開できる見込みで、これらから得られた知見は有効に活用できると考えられる。
【4】明瞭音声特徴量の抽出と高齢難聴者対応の音声了解度客観評価指標の開発: 【3】で示した実験データを非常によく予測できる新しい客観評価指標GESI に関して国際会議で発表し、特許申請も行った。さらに、男声データだけからパラメータを推定して女声データを予測することや、個人ごとの限られたデータだけを用いて予測するテストを行い、従来手法よりも良く精度を達成できることを示した。これらをまとめて論文投稿準備を行った。さらに音声認識器を用いた客観評価指標も提案した。高齢難聴者の了解度予測を行う国際競技会にも参加し、上位につけることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【1】に関してR3年度で完成し終了したと考えていた。しかし、今年度追加検討した結果、当初思っていた以上のインパクトがある成果を出すことができ、投稿できた。
【2】の時間応答導入は難しい課題で、なかなか進まなかったが、WHIS論文の洗練化を通して見通しを得た。今後に期待できる。
【3】【4】に関してはおおむね計画どおりである。
|
| Strategy for Future Research Activity |
【1】聴覚末梢系特性の的確な推定と聴覚末梢モデルGCFBの高精度化: 投稿済みの論文掲載を目指し、査読対応を行う。論文掲載後に、新しく得られたパラメータ値をGCFBに導入して公開する。
【2】模擬難聴システムWHISへの時間応答特性劣化の導入と高度化: 時間応答特性劣化の模擬に関して、新しいアイデアに基づいて実装を行い的確に模擬できるかを調べる。雑音が不可避であった従来手法と比較する聴取実験も行う。
【3】高齢難聴者の音声/環境音知覚特性の明確化: コロナの5類移行に伴い、難聴高齢者実験を再開する。また、WHISでオージオグラムを一致させた健聴者実験を行う。さらに、難聴高齢者の時間応答特性の計測も行い、WHISでの模擬との対比もできるように進める。
【4】明瞭音声特徴量の抽出と高齢難聴者対応の音声了解度客観評価指標の開発: 昨年度の成果の論文化を目指す。GESIを、音声強調処理やWHISを用いたさまざまな実験データに適用して、その有効性を示す。さらにGESIが時間応答特性の劣化にも対応できるか【3】の実験結果に基づいて検討する。問題点があった場合、改善を目指す。これは聴覚中枢系の一部のモデル化に相当する。さらに認知系の要因による機能低下分も【3】の実験結果から推測できる可能性もあるので、これに対応する認知モデルの検討を行う。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Conformer-based Fusion of Text, Audio, and Listener Characteristics for Predicting Speech Intelligibility of Hearing Aid Users2022
Author(s)
Naoyuki Kamo, Kenichi Arai, Atsunori Ogawa, Shoko Araki, Tomohiro Nakatani, Keisuke Kinoshita, Marc Delcroix, Tsubasa Ochiai, and Toshio Irino
Organizer
The 2nd Clarity Workshop on Machine Learning Challenges for Hearing Aids (Clarity-2022)
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
