2018 Fiscal Year Annual Research Report
Development of speech intelligibility index and assistive techniques based on auditory characteristics
| Project/Area Number |
16H01734
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
入野 俊夫 和歌山大学, システム工学部, 教授 (20346331)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吐師 道子 県立広島大学, 保健福祉学部(三原キャンパス), 教授 (40347779)
岡本 康秀 慶應義塾大学, 医学部(信濃町), 客員講師 (10317224)
津崎 実 京都市立芸術大学, 音楽学部, 教授 (60155356)
松井 淑恵 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (10510034)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
河原 英紀 和歌山大学, 学内共同利用施設等, 名誉教授 (40294300)
坂野 秀樹 名城大学, 理工学部, 准教授 (20335003)
森勢 将雅 山梨大学, 大学院総合研究部, 准教授 (60510013)
西村 竜一 和歌山大学, システム工学部, 助教 (00379611)
榊原 健一 北海道医療大学, リハビリテーション科学部, 准教授 (80396168)
水町 光徳 九州工業大学, 大学院工学研究院, 准教授 (90380740)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 明瞭音声 / 音声了解度客観指標 / 模擬難聴 / 補聴器処方式 / 音声分析合成 / 実時間音声信号処理 / 言語聴覚士養成課程 / 発話訓練 |
|---|
| Outline of Annual Research Achievements |
目標達成のための4研究項目を推進し、以下の成果を得た。 【1】聴覚信号処理: 新客観音声了解度指標"GEDI"(ジェダイ)を用いると、２種類の雑音下の強調音声において従来手法よりも精度良く推定ができることを示した。外国特許申請を完了し、H31年4月初旬に論文投稿とソフトウェア公開もした。また、模擬難聴条件下で補聴器を用いた場合の了解度試験も実施してデータを得た。 【2】難聴/健聴特性解明・主観評価: 聴覚末梢系特性の高精度推定のための蝸牛雑音フロアを導入した新手法について国際会議で発表し論文化した。音声からの寸法知覚に関して、通常発声とささやき声を直接比較する心理実験をさらに追加し、国際会議に投稿した。チャープ信号を用いた聴性脳幹反応 (ABR)特性の強調手法の有効性が確認でき、論文化した。模擬難聴者実験のパラダイムを音声明瞭性実験から寸法知覚実験や楽器演奏実験にも展開し、従来にない知見を得た。【3】音声音響信号処理: 模擬難聴システムの背景となる信号処理に関してまとめ、国際会議で招待講演を行った。また、この実時間処理手法と特性に関しても国際会議で発表し論文化した。高品質音声分析合成系において新規駆動音源を開発し、品質を向上させた。8chマイクロホンアレー出力をDNNによりチューニングすることにより、補聴器使用時の選択的聴取及び空間定位を支援する枠組みを提案した。音声合成処理の品質改善に向けて、DNNに基づく波形生成モデルであるニューラルボコーダの改良を行い国際会議で発表した。【4】教育評価・明瞭音声データ: 模擬難聴システムを用いた発話の明瞭化訓練の音声の評価実験をさらに進めた。分析とデータベース化のためのアノテーションを進めた。模擬難聴を用いた訓練により発話速度が有意に遅くなり、３ヶ月後でも効果が持続することを発見した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究が順調に進んでいる。いずれも新しい知見獲得等の大きな成果が得られた。【1】聴覚信号処理:新音声了解度客観評価指標"GEDI"に関して論文化を進め、ソフトウェア公開を現時点ではたした。今後モデルの構築や性能評価に供するための、模擬難聴者＋補聴器の音声了解度実験等でも順調にデータ収集できた。【2】難聴/健聴特性解明・主観評価: 聴覚末梢系特性を推定する新手法や寸法知覚実験に関して大きな前進をみた。聴性脳幹反応(ABR)特性の強調処理は、聴神経系疾患であるシナプトパシーの推定をするために重要なステップである。さらに模擬難聴者実験を、寸法知覚・音声合成品質評価・楽器演奏研究へと展開し、適用範囲を大きく広げた。これは、今後の難聴者にとっての明瞭な音声や音知覚特性研究に対して、パラダイムシフトをもたらす枠組みになると考える。【3】音声音響信号処理: 模擬難聴システムを様々な手段で実装するとともに、国際会議等で広めることができた。また、明瞭音声合成系に向けた研究や、補聴器処理にも組み込める選択的聴取実現への基盤の研究が推進できた。【4】教育評価・明瞭音声データ: 言語聴覚士養成課程における演習を毎年おこなってきた結果、教育プログラムが成熟してきて外部の養成機関に展開できる状況になった。また、発話訓練に模擬難聴システムが貢献しうることも示すことができた。
|
| Strategy for Future Research Activity |
【1】聴覚信号処理: "GEDI"のデファクトスタンダード化を目指すとともに、DNNを用いた音声了解度客観評価手法の研究を進める。 【2】難聴/健聴特性解明・主観評価:蝸牛雑音フロアを導入した聴覚末梢系特性推定手法を、高齢難聴者データにも適用して有効性を検証する。音声からの寸法知覚に関して、知らない言語音を用いた実験や、高齢者/難聴者を対象とした実験を進めるとともに、適確に予測できる計算モデルを構築する。チャープ信号を用いた聴性脳幹反応 (ABR)の強調処理に関して条件を増やして最適解を探る。【3】音声音響信号処理:明瞭音声の動的特徴量(例：GEDIの特徴量)/高次統計量/音声生成特徴量の解明を進め、合成音声の明瞭化を試みるとともに評価を行う。このためにも高品質音声分析合成系の精度をさらに向上させる。さらにテキスト音声合成に適用し、明瞭音声の合成-評価-改善のサイクルを確立するための枠組みを整備する。【4】教育評価・明瞭音声データ:模擬難聴システムGUIをMATLAB実行形式とC言語ベースで構築して広く配布できるようにする。模擬難聴による演習のデモを行って国内外でアピールし、様々な養成機関において教育プログラムの展開を図る。明瞭音声の特性を探るため収録したデータにさらにアノテーションを付与し、データベース構築を着実に進める。
|
