Development of speech intelligibility index and assistive techniques based on auditory characteristics

2019 Fiscal Year Annual Research Report

• Project/Area Number: 16H01734
• Research Institution: Wakayama University
• Principal Investigator: 入野 俊夫 和歌山大学, システム工学部, 教授 (20346331)
• Co-Investigator(Kenkyū-buntansha): 津崎 実 京都市立芸術大学, 音楽学部, 教授 (60155356) ; 松井 淑恵 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (10510034) ; 長谷川 純 県立広島大学, 保健福祉学部(三原キャンパス), 准教授 (20290554) ; 岡本 康秀 慶應義塾大学, 医学部(信濃町), 客員講師 (10317224) ; 戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328) ; 河原 英紀 和歌山大学, 学内共同利用施設等, 名誉教授 (40294300) [Withdrawn] ; 坂野 秀樹 名城大学, 理工学部, 准教授 (20335003) ; 森勢 将雅 明治大学, 総合数理学部, 専任准教授 (60510013) ; 西村 竜一 和歌山大学, データ・インテリジェンス教育研究部門, 講師 (00379611) ; 榊原 健一 北海道医療大学, リハビリテーション科学部, 准教授 (80396168) ; 水町 光徳 九州工業大学, 大学院工学研究院, 准教授 (90380740)
• Project Period (FY): 2016-04-01 – 2020-03-31
• Keywords: 明瞭音聲 / 聴覚情報処理 / 模擬難聴 / 音声了解度 / 明瞭性 / 客観評価指標 / 主観評価実験 / 音声分析合成

Outline of Annual Research Achievements

目標達成のための4研究項目を推進し、以下の成果を得た。
【1】聴覚信号処理: 音声了解度客観評価手法"GEDI"(ジェダイ)の論文が刊行された。従来法よりも厳し目の評価を出すため、音声強調処理開発に貢献すると考える。DNNによる音声認識エンジンを用いた客観評価手法も新規開発し、特許申請と国際会議発表を行った。
【2】難聴/健聴特性解明・主観評価: 聴覚フィルタ推定における蝸牛雑音フロア仮説に関して様々な周波数のデータで検証を進めた。音声からの寸法知覚において、通常発声とささやき声の直接対比実験の知覚特性が出る内部要因を、【3】で示す聴覚モデルを用いて探った。模擬難聴実験により、末梢系の難聴要因の影響が、音声了解度には出て寸法知覚にはあまり出ないことがわかった。コロナ禍の影響で研究室内実験が進められなくなったが、音声了解度・男女判別・明瞭性評価実験を実施できるWeb pageを開発し、クラウドソーシングで遠隔実験を実施した。研究室実験結果よりも分散が大きかったが、工夫次第で信頼できるデータ収集が可能だとわかり、国際会議に投稿した。
【3】音声音響信号処理: 音声の平均スペクトル勾配の寸法知覚への影響を調べる心理実験結果を、個人差も含めて説明できる聴覚モデルの開発に成功し論文投稿した。提案したSSI荷重関数はシンプルにもかかわらず、従来利用されてきた音声特徴表現の見方を大きく転換し性能向上が期待できる。音声収集や聴取環境の音響計測のための対話的実時間ツールを開発した。
【4】教育評価・明瞭音声データ: 模擬難聴システムを用いた発話の明瞭化訓練の音声の評価実験に関して、明瞭性向上要因解明のための実験を進めた。さらに特性を予測できる聴覚モデルをGEDIを元に提案し、国際会議で発表した。この実験で音声と聴取データ収集を行い、アノテーションも含めデータベース化への整備がほぼできた。

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。