| 研究課題/領域番号 |
20K11898
|
|---|
| 研究機関 | 立命館大学 |
|---|
研究代表者 |
山下 洋一 立命館大学, 情報理工学部, 教授 (80174689)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 音声 / 感情認識 / パラ言語情報 / 言語情報 / ソフトラベル |
|---|
| 研究実績の概要 |
本研究では，音声における感情の認識に取り組んでいる。音声は，言語的な情報以外にも感情や性別などのパラ言語・非言語情報を伝達しており，音声における感情を自動推定する技術は，近年，人と機械の相互作用に関する研究分野において注目されており，暮らしやビジネス，医療・福祉を初めとする幅広い産業分野への応用が期待されている。音声から正確に感情を推定することにより，音声を主とするコミュニケーションのより円滑なサポートを実現することができる。本研究では，入力された音声を「喜び」「悲しみ」「怒り」「平静」の4カテゴリのうちの一つに分類する。2021年度には，主に以下の3つの成果を得た。
第1に，音声から得られるスペクトルなどの音響情報だけでなく，発話の言語情報を合わせて用いる音声感情認識の手法を開発した。音響情報と言語情報を組み合わせるいくつかの手法を検討し，音響情報のみ，あるいは言語情報のみによる感情認識結果と音響情報および言語情報の中間的な特徴と組み合わせる手法によって，音響情報のみを使った場合よりも認識率が約14%～20%向上することを示した。さらに，3秒程度の短区間音声に対する感情認識においても，言語情報を併用することによって，認識率が約4%～13%向上することを示した。
第2に，感情カテゴリの曖昧性に注目したモデル学習を行い，その有効性を示した。平静の感情が他の感情の特徴も含んでいる可能性を考えたソフトラベルを用いて学習を行う手法を提案し，認識率が約1%～4%向上することを示した。
第3に，音声発話における話題情報を利用した音声感情認識の手法を提案した。話題が既知であるとして話題情報を用いることで認識率が 10%以上向上することを示した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
コロナ禍において被験者を集めて実施する音声収録が難しいため，独自の感情音声データベースの構築を取りやめ，すでに公開されている音声コーパスを用いて研究を進めた。データ量の若干の不足を感じながらも，手法の開発や評価を行うことはできており，音声における感情認識の研究は順調に進展している。
|
| 今後の研究の推進方策 |
音声における感情認識の研究では，入力された音声に対して一つの感情を認識結果として出力することが一般的ではある。しかし，本来音声が伝える感情は，例えば「驚き」と「怒り」が含まれるなど，多様な感情から構成される。今年度は，音声から得られた複数感情の認識結果を感情の説明文として出力できる音声感情認識の実現を目指す。まず，感情の説明文が付与された感情音声データセットの構築に取り組む。既存の大規模音声データセットで収集されている感情音声に対して，クラウドソーシングを利用することにより，感情を表現する単語を用いて自由記述された感情の説明文を付与する。感情としては，「喜」「怒」「哀」「怖」「恥」「好」「厭」「昂」「安」「驚」の10感情を扱うことを検討する。
|
| 次年度使用額が生じた理由 |
コロナ禍において，音声収録を行うことが難しく，そのための謝金などが未執行となった。今後，クラウドソーシングを用いた音声データ対する感情レベル付与の作業に充当する予定である。
|
