2018 Fiscal Year Annual Research Report
Understanding SHITSUKAN recognition mechanisms in speech perception based on concept of amplitude modulation
Publicly Offered Research
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
18H05004
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | 質感認識 / 変調スペクトル / 変調伝達関数 / 変調フィルタバンク / 振幅変調 / 緊迫感知覚 / 年齢知覚 |
|---|
| Outline of Annual Research Achievements |
本研究では、振幅変調の概念に基づき，音声の質感を認識するメカニズムを理解することを目指す．本研究課題では，1. 音の振幅包絡線情報の瞬時的な変調スペクトルの変化を分析可能な時間周波数分析・変調周波数分析を構築する．次に，2. 音声の質感認識における物理量が何であるのか，3. 音声の質感（緊迫感といった情動）には音源だけでなく伝送系の質感（場の雰囲気）も関係しているのか，4. ヒトは音源と伝送系を切り分けて質感認識を行っているかどうか，について，全体考察も踏まえ，一つ一つ明らかにしていく．
今年度は，課題1と課題2に取り組んだ．課題1に関しては，聴覚フィルタバンク（35個のERB帯域通過フィルタバンク）を通過した信号の振幅包絡線情報に関して，スペクトル分析を行う処理ブロック：変調フィルタバンク（0～64 Hzの７オクターブ帯域）を構築し，各帯域から得られる瞬時振幅・周波数の導出から瞬時変調スペクトル分析を実現した．この分析では，平均的な変調特性だけでなく，瞬時的な変調特性を議論できることになった．次に，課題2に関しては，音声信号を対象に質感認識として音の「粗さ」に係わる物理特徴ならびに緊迫感に係わる物理特徴を変調スペクトル分析から検討した．これらの特徴に関して，音質評価システムを利用した客観評価ならびに聴覚心理物理実験による主観評価を行ったところ，緊迫感には変調特性として6 Hz～8 Hzの情報が重要であることを突き止めた．最後に，音声からの年齢知覚に関する検討も行った．ここでは，主観評価実験により話者の実年齢と知覚年齢の関係を調査した．その結果，これらの間には一致した関係がみられ，音響特徴（基本周波数やスペクトル傾斜）や，音色に関係するラフネスやシャープネスと相関が高いことがわかった．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究課題では，4つの課題：1. 音の振幅包絡線情報の瞬時的な変調スペクトルの変化を分析可能な時間周波数分析・変調周波数分析の構築，2. 音声の質感認識における物理量の解明，3. 音声の質感と音源・伝送系の質感の関係性の検討，4. ヒトの質感認識のメカニズムの解明について，全体考察も踏まえ，一つ一つ明らかにしていく．初年度は上記の課題1と2に取り組んだ．上述の報告のとおり，計画通りに研究が進んだ．その他に，課題1をベースにした音質評価指標（ラウドネス，ラフネス，シャープネス，変動強度）の算出法の構築，緊迫感以外の質感として話者の年齢知覚の検討にも着手できた．最大の進捗は，緊迫感知覚に関して物理量の特定だけでなく，定量的な特徴まで明らかにできたことである．
|
| Strategy for Future Research Activity |
初年度は計画どおりに進められているため，次年度も計画どおり順調に進めていく．
具体的には次のことに取り組む．課題3では，伝送系の質感が音声の質感認識にどのような関係があるかを調査する．特に，室内の背景雑音や残響の影響を変調伝達関数でモデル化することによって音源の変調とは独立に制御し，音源の質感に伝送系の変調がどのように影響するのかを検討する．課題1と同様，室の伝送系の影響から変調周波数領域の特徴がどのように変化するか，またそれに合わせて伝送系の質感がどのように変化するか，を明らかにする．次に，課題4では，上記四つの課題の結果を俯瞰的に眺め全体考察することで，ヒトが音源の質と伝送系の質感を切り分けて音声の質感認識を行っているかどうか明らかにする．最後に，音声の質感認識における「粗さ」を指標に，聴覚系における変調の知覚メカニズムと質感認識との関連性を議論する．
|
