| 研究課題/領域番号 |
23K21679
|
|---|
| 補助金の研究課題番号 |
21H03463 (2021-2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2021-2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 北陸先端科学技術大学院大学 |
|---|
研究代表者 |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| 研究分担者 |
荒木 友希子 金沢大学, 人文学系, 教授 (30334741)
木谷 俊介 北陸先端科学技術大学院大学, 先端科学技術研究科, 講師 (70635367)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2024年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2023年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2022年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2021年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円)
|
|---|
| キーワード | 振幅変調知覚 / 人工内耳用音声信号処理 / 非言語情報 / 聴覚エンリッチメント / 変調フィルタバンク |
|---|
| 研究開始時の研究の概要 |
人工内耳は音の聞こえを大幅に回復する聴覚獲得法の最終手段である．しかし，話者の個人性や感情，緊迫感といった非言語情報の知覚や騒音環境下での音声聴取に大きな問題が残っている．音声の時間的な振幅包絡線情報は，音声の言語情報だけでなく非言語情報を豊富に含んでおり，振幅包絡線の情報処理が音声の質感を向上させ，さらには振幅包絡線が人工内耳用音声信号処理で伝送される情報とよく整合することが明らかにされている．本研究では，人工内耳用信号処理の拡張（聴覚エンリッチメント）のために，聴覚の変調知覚メカニズムに基づいた音声の振幅包絡線における非言語情報の獲得・付与・強調する仕組みと騒音低減法の実現を目指す．
|
| 研究実績の概要 |
本研究では，人工内耳用音声信号処理（雑音駆動型音声合成）技術に非言語情報を獲得・付与・強調する仕組み，ならびに騒音抑圧機能を持たせることで，聴覚エンリッチメントを実現する．そのため，次のような四つのワークプランに沿って研究を実施する．まず，①聴覚特性を考慮した雑音駆動音声合成系を構築し，②この処理体系で，音声言語の知覚に影響を与えないような騒音抑圧法を提案する．次に，③この処理体系で，音声の非言語情報が時間的な振幅包絡線にどのように含まれているか，さらにはどのように強調できるかを変調スペクトル分析と聴取実験により検討する．最後に，④人工内耳用音声信号処理技術に転化する「補償処理」について総合的に検討する．
本年度（2022年度）は，課題②と課題③に取り組んだ．まず，課題②では，騒音が音声の振幅包絡線情報でどのように表現されるか調べ，その抑圧法を検討した．特に，ここではスペクトル変調・時間変調（STM）分析を利用して様々な種類の雑音を分析し，そのSTM情報表現における雑音除去法を検討した．その結果，聴感上，抑圧効果の高い雑音除去を実現できた．次に課題③では，音声の非言語情報，特に感情と緊迫感が時間的な振幅包絡線にどのように含まれているか，あるいはどのような変調周波数成分に含まれているかを，変調フィルタバンクから得られる変調スペクトログラムならびにSTM分析を利用して調査した．その結果，変調スペクトル歪度と変調スペクトル傾斜が感情認識において共通で重要な特徴であることと，雑音・残響に頑健な特徴であることを明らかにした．これらが個人性ならびに緊迫感に関して重要であるかは未検討であり，今後の課題として検討する．最後に，変調スペクトルに現れる特徴が緊迫感にどのようにかかわるかを再調査した．その結果，音声の振幅包絡線情報に含まれる４～16 Hzの変調情報が重要であることを確認した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
今年度（2年次）は，課題②と課題③に取り組んだ．課題②では，帯域分割型雑音駆動音声合成法における変調スペクトログラムの操作法を検討した．特に，この処理の延長にあるスペクトル変調・時間変調（STM）分析を検討し，音声の振幅包絡線の情報表現について再考した．課題②では，騒音がSTMにおいてどのように表現されるかを調べ，その抑圧法について検討した．課題③では，音声の非言語情報（感情や緊迫感）が時間的な振幅包絡線にどのように含まれているか，さらにSTMにおいてどのように表現されるかを先取りして検討を進めることができた．これらの進捗状況から，順調に進んでいると判断できる．
|
| 今後の研究の推進方策 |
研究メンバー間で定期的にオンラインミーティングを開き，研究議論を深めていく．現在，学内においては，計画通りに聴覚心理実験を実施できているが，人工内耳装用者を対象とした実験を実施する場合，今以上に感染症対策を十分に練って実施する必要がある．実施時期など状況をみながら先取りするような形で研究を実施できるように努める．
|
