| 研究課題/領域番号 |
17K00160
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 研究分野 |
マルチメディア・データベース
|
|---|
| 研究機関 | 千葉工業大学 (2019-2021)
帝京大学 (2017-2018) |
|---|
研究代表者 |
有本 泰子 千葉工業大学, 情報科学部, 准教授 (60586957)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2020年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2019年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2018年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2017年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
|
|---|
| キーワード | 感情認識 / マルチモダリティ / 音声 / 表情 / 心拍 / 発汗 / 機械学習 / テキスト / マルチモーダル感情認識 / オンライン対話 / 生理反応 / 自然言語処理 / 生理反応計測 / 音声言語情報処理 / 表情分析 / 自律神経系反応計測 / 表情筋分析 / 音声コーパス / 感情推定 / オンラインチャット / マルチモーダル / 感情 / 音声・表情 / 自律神経系反応 |
|---|
| 研究成果の概要 |
マルチモーダルオンライン対話データに含まれる感情3次元の評価値を正解とし，計測した話者の表情・音声・自律神経系反応から３次元の感情（快ー不快，覚醒ー睡眠，支配ー服従）を推定するモデルを構築し，その検証を行った。その結果，テキストチャット場面の感情推定モデルでは，正解となる感情の評価値と推定値との誤差が快－不快で0.32，覚醒－睡眠および支配－服従では0.36となった。また，音声チャット場面のモデルでは，平均二乗誤差（MSE）が快ー不快で0.121，覚醒ー睡眠で0.161，支配ー服従で0.164となった。さらに，リアルタイムに話者の情報を取得し，話者の感情を推定するシステムの実装を行なった。
|
| 研究成果の学術的意義や社会的意義 |
本研究の成果により，オンライン対話場面において，欠落する感情を補完する仕組みを実現することが可能となる。例えば，インターネットを利用した音声チャットやテキストチャットにおける対話場面で，本システムの感情推定技術を用いれば，話者の感情を推定した結果を対話相手に提示することができる。新型コロナウィルスの蔓延により，顧客との打合せや大学の授業などもオンライン環境下で行うようになった。オンライン環境下で感情コミュニケーションに齟齬が生じ，本来の目的を達成することに困難を感じることも多い。本研究課題で構築するシステムは，こうした問題を解決しうる世界初のリアルタイムマルチモーダル感情推定システムとなる。
|
