2019 Fiscal Year Research-status Report
Development of hearing aid system for which speech recognition and speech synthesis were used
| Project/Area Number |
18K12163
|
|---|
| Research Institution | Nishikyushu University |
|---|
Principal Investigator |
小野 博 西九州大学, 健康福祉学部, 客員教授 (10051848)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂田 俊文 福岡大学, 医学部, 教授 (10289530)
高橋 伸弥 福岡大学, 工学部, 准教授 (40330899)
森山 剛 東京工芸大学, 工学部, 准教授 (80449032)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 補聴方式 / 子音の強調加工 / 音声認識 / 音声合成 / 最適強調法・強調度 / 異聴と最適子音への変換 / 子音音声の聞き取り検査装置 / 単語音声の先頭子音の強調加工 |
|---|
| Outline of Annual Research Achievements |
従来の補聴器は，感音性難聴者の場合，音は大きくなるが，ことばがはっきり聞き取れようにならないことが多いことから，音に敏感な日本人の高齢難聴者は，補聴器を試聴しても買わない，購入しても使わない人が多い。また，購入に関し，海外特に欧米では病院の検査結果に基づき社会保障費や保険で補聴器が配布されるが，日本では消費税が免除されるのみで，高価であるが十分に満足されないため，その販売は40，50年前から大きく伸びてはいないばかりか，国内の補聴器メーカーそのものの数も減っている。
世界の最新の補聴器はAIスピーカの原理を利用し，どこでも静かに聞こえる補聴器が主流となっており，国内でも少しでも良い補聴器を求める人は自動車１台分に相当する海外の補聴器を購入している。
また，国内で販売されている比較的安価な補聴器や集音器と称する補聴機器を製造・販売する企業は，海外で一般化した補聴器用の部品を購入し，国内で組み立て，OEM等で多様なブランドで販売している商品が多い。しかし，これらの集音器ばかりか先端技術を駆使した海外の高価な補聴器でも最大の欠点は，音声の聞き取りそのものを改善する機能がないことである。
感音性難聴を有する高齢難聴者が求める補聴機能は，ことばがはっきり聞き取れる補聴器であり，筆者らがこの機能を持つ補聴方式を開発すれば，国内の難聴者の助けになると共に世界の補聴器にも影響を及ぼせると考えた。そこで，筆者らは，高齢難聴者の聴覚は音響特性の劣化により子音の識別能力が低下する，あるいは，他の子音に聞こえる場合があることに着目し，個別の難聴者の聴覚特性に対応して合成音声の子音の特徴を強調加工することにより，高齢難聴者の聞き取りが改善されることを確かめた。そこで，最新の合成音声技術を利用した補聴方式を実現すれば，国内の補聴器技術の発展に資すると考え，音声認識・合成音声を利用した補聴方式の研究を進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
合成音声はその研究の進展によって，①波形方式，②HMM方式，③DNN方式へと発展してきたが，聞き取り検査装置の音声として，また，補聴方式の出力音声としてどの方式の音声が最適であるか決めるための音声の評価実験を行った。その結果，単音の聞き取り検査用には波形方式の合成音声が，補聴方式の出力音声にはディープラーニング技術を用いたDNN方式の合成音声が最適であることがわかった。
次に，単音の聞き取り検査装置で出力する単音として明瞭性が高い波形方式の合成音声（HOYA）を利用するが，その検査用単音として耳鼻科の語音明瞭度検査（67表）の50音に加え，難聴者が聞き取り難い単音17音を追加し，計67音による検査装置を作成した。健聴者（学生等）の聞き取り検査で語音明瞭度が100％に達しない単音については，その子音部分の調整（pitch，speed，volume）による改良を行った。
高齢難聴者用の補聴方式として個別難聴者の聞き取り検査に基づき，聞き取り難い子音の特徴を強調する，あるいは，異聴する場合は子音をすげ替えその子音の特徴を強調することで，高齢難聴者の聞き取りを改善する方式とした。この際，子音の聞き取りの改善に効果的な加工方法として，すでに検証済みの，①子音の音素の音圧の拡大，②子音の音素の持続時間の伸長，③子音と母音間への無音時間の挿入，④話速変換，⑤異聴する音素のすげ替え，などを利用することとした。
出力音声にはディープラーニング技術を使用したDMM方式（HOYA）の合成音声を利用するとし，本年度は，①入力音声の音声認識によるTEXTファイル化，②単音の聞き取り検査装置の開発と個別難聴者の検査結果による強調加工方法及び強調度の決定，③検査結果に基づく子音の音素の強調加工や子音の音素のすげ替え後の強調加工を含むDNN方式の合成音声を用いた強調加工音声作成システムの開発を行った。
|
| Strategy for Future Research Activity |
今後の研究の目標は，会話音声の入力から音声の出力までの補聴システムを音声認識・音声合成型補聴方式で完成させることにある。そこで，個別高齢難聴者を対象とした単音の聞き取り検査によって,聴き取りの改善のための強調加工方法及び強調度を予測することができるようになったので，まず，単語の合成音声について，個別高齢難聴者の聞き取りの改善を確認する検査システムを開発する。具体的には，DNN方式の合成音声作成装置を利用し，単語音声の先頭子音を切り出し，その音素について，個別の難聴者を対象に最適な強調加工方法，及び強調度で加工した単語音声を検査用音声として用意することにより，その聞き取りの改善を確認する検査装置の開発を行う。個別難聴者の検査で聞き取りの改善が十分でない場合，強調加工方法，強調度を変化させて検査ができるような装置にする。
単語音声で個別難聴者の聞き取りの改善が確認できた後，入力音声から合成音声による出力までの一貫した補聴方式を試作し，会話音声の入力音声を合成音声で出力し，難聴者の聞き取りの改善を確認する。この際，開発を目指す補聴方式として，高度・重度難聴者には全ての入力音声の単語音声について，聴き取り検査に基づいた子音の音素の強調加工や子音の音素のすげ替えを行うが，軽度・中等度難聴者は，全ての音声（単語）が聞き取れないわけではないことから，聞き取り難いと予想される子音の音素のみを強調加工した単語音声を合成音声で出力する補聴方式としたい。
また，現在では高価ではあるが，特定の話者の合成音声を作る技術がすでに完成しており，この技術を利用すると特定の話者の合成音声を作成することが技術的には可能になった。そこで，今後の合成音声技術の発展を考えると，家族や活舌の良いアナウンサーなどの合成音声で聞く補聴方式の実現も可能であり、今後の新しい技術を利用した補聴方式の研究を続けたいと考えている。
|
| Causes of Carryover |
旅費については、新型コロナウイルスの流行により、出席を予定していた学会の大会が中止になったため、今後の学会・研究会への出席等の旅費とする。また、物品費については、予定額より支出額が少なく済んだため、合成音声利用料やプリンターインクやプリンやー用紙、文房具等の今後の消耗品費とする。
|
