2023 Fiscal Year Annual Research Report
Auditory Enrichment based on perception of amplitude modulation: Study on speech signal processing for Cochlear Implant
| Project/Area Number |
21H03463
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
荒木 友希子 金沢大学, 人文学系, 教授 (30334741)
木谷 俊介 北陸先端科学技術大学院大学, 先端科学技術研究科, 講師 (70635367)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 振幅変調知覚 / 人工内耳用音声信号処理 / 非言語情報 / 聴覚エンリッチメント |
|---|
| Outline of Annual Research Achievements |
本研究では，人工内耳用音声信号処理（雑音駆動型音声合成）技術に非言語情報を獲得・付与・強調する仕組み，ならびに騒音抑圧機能を持たせることで，聴覚エンリッチメントを実現する．そのため，次のような四つのワークプランに沿って研究を実施する．まず，①聴覚特性を考慮した雑音駆動音声合成系を構築し，②この処理体系で，音声言語の知覚に影響を与えないような騒音抑圧法を提案する．次に，③この処理体系で，音声の非言語情報が時間的な振幅包絡線にどのように含まれているか，さらにはどのように強調できるかを変調スペクトル分析と聴取実験により検討する．最後に，④人工内耳用音声信号処理技術に転化する「補償処理」について総合的に検討する．
本年度（2023年度）は，課題③に取り組んだ．課題③では，まず音声の非言語情報，特に感情と緊迫感に関わる情報が音声の時間的な振幅包絡線にどのように含まれているか，あるいはどのような変調周波数成分に含まれているかを，変調フィルタバンクから得られる変調スペクトログラムならびにスペクトル変調・時間変調（STM）分析を利用して調査した．その結果，変調スペクトル歪度と変調スペクトル傾斜が感情認識において共通で重要な特徴であることを明らかにした．また，これらが雑音・残響に頑健であることを明らかにした．次に，感情と緊迫感に関して，音声の時間的な振幅包絡線に含まれる変調周波数成分を調査したところ，感情知覚では，振幅包絡線情報に含まれる0～16 Hzの変調情報が，緊迫感知覚では，振幅包絡線情報に含まれる４～16 Hzの変調情報が，重要であることを確認した．最後に，瞬時変調周波数の時間変化の傾きを制御することで，感情知覚と緊迫感知覚でそれらの知覚の消失が起こることが明らかになった．このことから瞬時変調周波数の時間変化の効果的な制御が感情・緊迫感知覚の補償処理として有効であると考えられる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度（３年次）は，音声の非言語情報，特に感情と緊迫感が時間的な振幅包絡線にどのように含まれているか，あるいはどのような変調周波数成分に含まれているかを，変調フィルタバンクを利用した時間・変調周波数分析（変調スペクトログラム）ならびにSTM分析から調査した．さらに，これらの結果から，感情や緊迫感をどのように強調できるかを変調スペクトログラムとSTMスペクトログラムでの情報表現と聴取実験により検討した．今年度の計画どおり，実施することができたため，予定通りの進捗が得られた．その中でも，音声の振幅包絡線情報に含まれる瞬時変調周波数の時間変化を操作することが非言語・パラ言語情報の補償処理に直結していることを明らかにした．このことから，瞬時変調周波数の時間変化を操作することで，非言語・パラ言語情報を補償できることが容易に予想できる．次年度には，感情知覚や緊迫感知覚の向上を目指した最終検討に入ることができることから，区分(2)の進捗状況であると判断した．
|
| Strategy for Future Research Activity |
研究メンバー間で定期的にオンラインミーティングを開き，研究議論を深めていく．現在，学内においては，計画通りに聴覚心理実験を実施できている．次年度は人工内耳装用者を対象とした実験を実施する予定であり，感染症対策を十分に練って実施する必要がある．実施時期など状況をみながら先取りするような形で研究を実施できるように努める．
|
