| Project/Area Number |
17K00160
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Research Field |
Multimedia database
|
|---|
| Research Institution | Chiba Institute of Technology (2019-2021)
Teikyo University (2017-2018) |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2020: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2019: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2018: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2017: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 感情認識 / マルチモダリティ / 音声 / 表情 / 心拍 / 発汗 / 機械学習 / テキスト / マルチモーダル感情認識 / オンライン対話 / 生理反応 / 自然言語処理 / 生理反応計測 / 音声言語情報処理 / 表情分析 / 自律神経系反応計測 / 表情筋分析 / 音声コーパス / 感情推定 / オンラインチャット / マルチモーダル / 感情 / 音声・表情 / 自律神経系反応 |
|---|
| Outline of Final Research Achievements |
Multimodal emotion recognition models to estimate 3-dimensional emotions (pleasant-displeased, arousal-sleep, and dominance-submission) using speaker's facial and vocal expression and autonomic nervous system responses during online conversation were constructed and evaluated. The results showed that the difference between the estimated emotional values of the correct emotional values in the text chat situation was 0.32 for pleasant-displeased, and 0.36 for both arousal-sleep and dominance-obedience. In the model for the voice chat situation, the mean square error (MSE) was 0.121 for pleasant-displeased, 0.161 for arousal-sleep, and 0.164 for dominance-submissiveness. In addition, real-time multimodal emotion recognition system was implemented for estimating speaker's emotional dynamics during online conversation.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究の成果により，オンライン対話場面において，欠落する感情を補完する仕組みを実現することが可能となる。例えば，インターネットを利用した音声チャットやテキストチャットにおける対話場面で，本システムの感情推定技術を用いれば，話者の感情を推定した結果を対話相手に提示することができる。新型コロナウィルスの蔓延により，顧客との打合せや大学の授業などもオンライン環境下で行うようになった。オンライン環境下で感情コミュニケーションに齟齬が生じ，本来の目的を達成することに困難を感じることも多い。本研究課題で構築するシステムは，こうした問題を解決しうる世界初のリアルタイムマルチモーダル感情推定システムとなる。
|
