2023 Fiscal Year Annual Research Report
End-to-End Model for Task-Independent Speech Understanding and Dialogue
| Project/Area Number |
20H00602
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井上 昂治 京都大学, 情報学研究科, 助教 (10838684)
吉井 和佳 京都大学, 情報学研究科, 准教授 (20510001)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 音声理解 / 音声対話 / 音声認識 / End-to-Endモデル |
|---|
| Outline of Annual Research Achievements |
End-to-Endモデルに基づく汎用的な音声理解・対話に関して、音声認識の高度化の観点と対話生成の観点から各々以下の研究を実施した。
まず、音声から言語情報の認識（通常の音声認識）と感情情報の認識、及び話者情報の認識を行うシステムを設計・実装した。これらの属性は相補的な関係もある（例えば、言語情報や性別の情報により感情の認識も容易になる）反面、有用な特徴が直交する（例えば、音声認識は話者に独立な情報を抽出する）側面もある。近年注目を集めている自己教師付き学習に基づいて事前学習されたモデルをファインチューニングする枠組みにおいて、各々の属性について段階的にファインチューニングすることで、高精度な認識システムを構築することができた。感情認識の標準的なベンチマークで最高水準の性能を達成した。
次に、対話生成においては、大規模言語モデルに代表されるように、ユーザの入力発話からシステムの出力発話を直接End-to-Endに変換するモデルが主流となっているが、対話における意図や感情の推論は行われていない。これに対して、ユーザの意図と感情を推論するネットワークに加えて、システムの意図や感情をを推論する機構を導入した枠組みを提案した。これにより、より多様で共感的な応答が生成されることを示した。
また、音声強調（雑音抑圧）と音声認識のEnd-to-End処理系についても研究を行い、パワースペクトル次元の強調の情報を音声認識のエンコーダに渡すことにより、音声認識の頑健性・性能が向上することを示した。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
