| Project/Area Number |
19K12059
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
LEE SHI-WOOK 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50415642)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 音声感情認識 / 音声信号処理 / 機械学習 / パターン認識 / 深層学習 / 感情認識 |
|---|
| Outline of Research at the Start |
本研究では、音声信号から言語的な意味と意図・意思・感情なとのパラ言語・非言語情報を統合できる音声に基づく感情認識技術の学術的な基盤研究を目的とする
人間は音声による感情を主観的に表現・収容する。また、現在までに開発された様々な言語の感情音声コーパスが異なる分類のカテゴリーを持っており、大規模な学習データを必要とする認識・分類タスクにおいては致命的な弱点となってきた。その一方、感情は言語の壁がないユニバーサル言語ともみなされる。文化面や言語面で非常に高い異種性を持つ日本語と英語の感情音声を対象として普遍的特徴を探求し汎用モデルを構築する試みが本研究の概要である。
|
| Outline of Final Research Achievements |
In this study, we were able to make a common speech emotion feature space between heterogeneous languages, Japanese and English, by constructing a system based on feature normalization and multi-task learning. Particularly in language-independent tasks of inputting Japanese speech into a system built entirely of English speech, the proposed triplet network provided a 35.61% performance improvement from 45.05% to 80.66%. We also proposed an ensemble method based on a domain adversarial neural network. For the individual system, the recognition performance of domain adversarial neural networks is lower than that of domain-dependent multi-task learning, but the performance of the proposed method using an ensemble method is reversibly higher.
|
| Academic Significance and Societal Importance of the Research Achievements |
実用化の成功が著しい音声認識分野のコーパスとは対照的に、感情音声は低資源問題とも言えるほど学習データが少ないため、実用化が未だに難解な問題であった。本研究は、多言語の感情音声コーパスから感情音声の普遍的特徴空間を構築することであり、感性コミュニケーションを実現するための核心的な研究課題として学術的な意義を持つ。また、言語、性別と感情の3つのタスクを同時に最適化するマルチタスク学習、 アンサンブル手法により、日本語と英語の両方の性能において単一システムの性能を超える多言語システムの性能が得られた研究成果は人間と共感するコミュニケーション機械の開発における社会的な意義が高いと言える。
|
