| 研究課題/領域番号 |
17K00160
|
|---|
| 研究機関 | 千葉工業大学 |
|---|
研究代表者 |
有本 泰子 千葉工業大学, 情報科学部, 准教授 (60586957)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2021-03-31
|
| キーワード | マルチモーダル感情認識 / オンライン対話 / 音声言語情報処理 / 表情分析 / 自律神経系反応計測 / 表情筋分析 |
|---|
| 研究実績の概要 |
今年度は，引き続きマルチモーダルオンライン対話音声コーパスの整備を進めるとともに，二つの研究を行った。
マルチモーダルオンライン対話データに含まれる感情3次元の評価値を正解とし，計測した話者の表情・音声・自律神経系反応から３次元の感情（快ー不快，覚醒ー睡眠，支配ー服従）を推定するモデルを構築し，その検証を行った。マルチモーダルオンライン対話データから整備が完了している27名のデータを使用した。抽出した特徴量は，音声が６種類，表情の特徴量が９種類，心拍の特徴量が５種類，発汗の特徴量が６種類である。これらを使用して推定可能性を調べるため，個人に対してランダム効果を適用したマルチレベルモデルによって，モデルを構築し，その推定精度を求めた。その結果，決定係数が快ー不快および覚醒ー睡眠では0.45，支配ー服従では0.47となった。
対話中の感情表出に表情筋が利用できるか分析を行なった。マルチモーダルオンライン対話データに含まれる整備済みの31名のデータを利用した。ビデオチャット場面・音声チャット場面・テキストチャット場面の３種類のデータが含まれているため，これらを要因として表情筋（皺眉筋・大頬骨筋）の対話内平均値および標準偏差に対して分散分析を行なった。表情筋は表情形成時および発話時に強く反応が出るため，表情を形成する必要がなく，発話することもないテキストチャット時は反応が出ないことが予想された。分析の結果，大頬骨筋はビデオチャット・音声チャット・テキストチャットの順に大きく反応していること，テキストチャット場面でもある程度の反応が出ていることが明らかとなった。
本研究に関連する研究成果として，感情を含んだ際の音声現象の検出に関する研究について，査読付き国際会議で1件の研究発表を行った。それ以外にも，関連する研究内容で5件の国内の学会発表がある。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
昨年度の報告書に掲げた研究の推進方策はほぼ完了しているが，今年度に所属の異動があったため，研究の時間がとれず，データ整備が未完である。
|
| 今後の研究の推進方策 |
今年度に，オンライン場面におけるマルチモーダル感情推定のモデル構築は実現できたが，まだオンライン環境の種類ごとにモデルが作成できていない。令和2年度は環境ごとのモデル構築を行いその精度を検証する。
|
| 次年度使用額が生じた理由 |
データ整備が遅れているため，それに関わる支出が抑えられた。令和2年度はこの作業を進めるため，データ整備に必要な機材や人材の確保のために使用していく予定である。
|
