2021 Fiscal Year Annual Research Report
Auditory Enrichment based on perception of amplitude modulation: Study on speech signal processing for Cochlear Implant
| Project/Area Number |
21H03463
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
木谷 俊介 北陸先端科学技術大学院大学, 先端科学技術研究科, 助教 (70635367)
荒木 友希子 金沢大学, 人間科学系, 准教授 (30334741)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 振幅変調知覚 / 人工内耳用音声信号処理 / 非言語情報 / 聴覚エンリッチメント |
|---|
| Outline of Annual Research Achievements |
本研究では，人工内耳用音声信号処理（雑音駆動型音声合成）技術に非言語情報を獲得・付与・強調する仕組み，ならびに騒音抑圧機能を持たせることで，聴覚エンリッチメントを実現する．そのため，次のような四つのワークプランに沿って研究を実施する．まず，①聴覚特性を考慮した雑音駆動音声合成系を構築し，②この処理体系で，音声言語の知覚に影響を与えないような騒音抑圧法を提案する．次に，③この処理体系で，音声の非言語情報（個人性，感情，緊迫性といった情動）が時間的な振幅包絡線にどのように含まれているか，さらにはどのように強調できるかを変調スペクトル分析と聴取実験により検討する．最後に，④人工内耳用音声信号処理技術に転化する「補償処理」について総合的に検討する．
初年度（2021年度）は，課題①と課題②に取り組んだ．まず，課題①では，帯域分割型雑音駆動音声合成法における聴覚エンリッチメントのための基本アルゴリズムの開発を行った．ここでは，音声の振幅包絡線情報における瞬時振幅・瞬時位相の表現ならびに操作法（加工法）を検討した．また変調スペクトログラムの算出のため，変調フィルタバンクを設計し，瞬時振幅・瞬時位相の表現方法を検討した．次に，音声の振幅包絡線情報に含まれる非言語情報（緊迫感）がどの変調周波数領域に含まれているか，聴覚心理実験により調査した．その結果，4～16 Hzの変調周波数領域に含まれていることを明らかにした．最後に，課題②では，騒音が音声の振幅包絡線情報でどのように表現されるか調べ，その抑圧法を検討した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度は，課題①と課題②に取り組んだ．課題①では，帯域分割型雑音駆動音声合成法における音声の振幅包絡線情報の操作方法と振幅包絡線の瞬時振幅・瞬時位相の表現方法を検討した．課題②では，騒音が音声の振幅包絡線情報でどのように表現されるか調べ，その抑圧法について検討した．このほかに，課題③として，音声の非言語情報（緊迫性）が時間的な振幅包絡線にどのように含まれているか先取りして検討を進めることができた．これらの進捗状況から，順調に進んでいると判断できる．
|
| Strategy for Future Research Activity |
研究メンバー間で定期的にオンラインミーティングを開き，研究議論を深めていく．現在，学内においては，計画通りに聴覚心理実験を実施できているが，人工内耳装用者を対象とした実験を実施する場合，今以上に感染症対策を十分に練って実施する必要がある．実施時期など状況をみながら先取りするような形で研究を実施できるように努める．
|
