2022 Fiscal Year Annual Research Report
Auditory Enrichment based on perception of amplitude modulation: Study on speech signal processing for Cochlear Implant
| Project/Area Number |
21H03463
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
荒木 友希子 金沢大学, 人間科学系, 准教授 (30334741)
木谷 俊介 北陸先端科学技術大学院大学, 先端科学技術研究科, 講師 (70635367)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 振幅変調知覚 / 人工内耳用音声信号処理 / 非言語情報 / 聴覚エンリッチメント |
|---|
| Outline of Annual Research Achievements |
本研究では，人工内耳用音声信号処理（雑音駆動型音声合成）技術に非言語情報を獲得・付与・強調する仕組み，ならびに騒音抑圧機能を持たせることで，聴覚エンリッチメントを実現する．そのため，次のような四つのワークプランに沿って研究を実施する．まず，①聴覚特性を考慮した雑音駆動音声合成系を構築し，②この処理体系で，音声言語の知覚に影響を与えないような騒音抑圧法を提案する．次に，③この処理体系で，音声の非言語情報が時間的な振幅包絡線にどのように含まれているか，さらにはどのように強調できるかを変調スペクトル分析と聴取実験により検討する．最後に，④人工内耳用音声信号処理技術に転化する「補償処理」について総合的に検討する．
本年度（2022年度）は，課題②と課題③に取り組んだ．まず，課題②では，騒音が音声の振幅包絡線情報でどのように表現されるか調べ，その抑圧法を検討した．特に，ここではスペクトル変調・時間変調（STM）分析を利用して様々な種類の雑音を分析し，そのSTM情報表現における雑音除去法を検討した．その結果，聴感上，抑圧効果の高い雑音除去を実現できた．次に課題③では，音声の非言語情報，特に感情と緊迫感が時間的な振幅包絡線にどのように含まれているか，あるいはどのような変調周波数成分に含まれているかを，変調フィルタバンクから得られる変調スペクトログラムならびにSTM分析を利用して調査した．その結果，変調スペクトル歪度と変調スペクトル傾斜が感情認識において共通で重要な特徴であることと，雑音・残響に頑健な特徴であることを明らかにした．これらが個人性ならびに緊迫感に関して重要であるかは未検討であり，今後の課題として検討する．最後に，変調スペクトルに現れる特徴が緊迫感にどのようにかかわるかを再調査した．その結果，音声の振幅包絡線情報に含まれる４～16 Hzの変調情報が重要であることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度（2年次）は，課題②と課題③に取り組んだ．課題②では，帯域分割型雑音駆動音声合成法における変調スペクトログラムの操作法を検討した．特に，この処理の延長にあるスペクトル変調・時間変調（STM）分析を検討し，音声の振幅包絡線の情報表現について再考した．課題②では，騒音がSTMにおいてどのように表現されるかを調べ，その抑圧法について検討した．課題③では，音声の非言語情報（感情や緊迫感）が時間的な振幅包絡線にどのように含まれているか，さらにSTMにおいてどのように表現されるかを先取りして検討を進めることができた．これらの進捗状況から，順調に進んでいると判断できる．
|
| Strategy for Future Research Activity |
研究メンバー間で定期的にオンラインミーティングを開き，研究議論を深めていく．現在，学内においては，計画通りに聴覚心理実験を実施できているが，人工内耳装用者を対象とした実験を実施する場合，今以上に感染症対策を十分に練って実施する必要がある．実施時期など状況をみながら先取りするような形で研究を実施できるように努める．
|
