| Project/Area Number |
20K20222
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 90130:Medical systems-related
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | 聴覚末梢系 / 数理モデル / 構音障害 / 数理シミュレーション / 深層学習 / 聴覚末梢系モデル / 音声障害 / GPGPU / 聴覚情報処理 |
|---|
| Outline of Research at the Start |
我々が音を知覚、認識する場合には周波数領域の情報のみでなく、その振幅包絡、時間微細構造や位相、これらの変調など時間情報も重要な情報として利用している。本研究ではヒト聴覚末梢系を模した数理モデルを解析のフロントエンドとして用いることで、時間/周波数解像度を両立、すなわち音の時間情報を保持した「音の質感」の表現手法を確立する。
このような聴覚モデルを用いて嗄声を解析し、本質的な嗄声の特徴表現を得ることで音声障害の診断・治療における評価の客観性の向上や新しい診断手法の開発につながる。また同等の手法を機械学習と組み合わせることで、音声・感情認識、雑音抑圧や音源分離など他の音響タスクにも応用が可能である。
|
| Outline of Final Research Achievements |
Aiming to clarify the characteristics of the "texture" of hoarseness and unpleasant sounds that humans intuitively evaluate, we developed a new analysis method that can express time domain information at high resolution using a mathematical model of the peripheral auditory system, and implemented the analysis program using a GPGPU. We investigated methods to obtain the characteristics of the texture of unpleasant sounds and use the obtained feature representation as input for deep learning, but new issues were found, such as the large size of the model. On the other hand, the new representation that combines time and frequency resolution brought about by the proposed method was found to be able to visualize and analyze transient phenomena in the frequency structure of consonants and semivowels in an unprecedented way, for example, when analyzing speech that contains many transient phenomena.
|
| Academic Significance and Societal Importance of the Research Achievements |
本手法がもたらす時間・周波数分解能を両立した表現は、過渡現象を多く含む語音の解析において、既存手法にない特徴表現を可能としており、構音障害の診療において新たな治療・リハビリテーション法につながる可能性がある。
|
