| 研究課題/領域番号 |
17K00160
|
|---|
| 研究機関 | 千葉工業大学 |
|---|
研究代表者 |
有本 泰子 千葉工業大学, 情報科学部, 准教授 (60586957)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2022-03-31
|
| キーワード | マルチモーダル感情認識 / オンライン対話 / 自然言語処理 / 生理反応計測 |
|---|
| 研究実績の概要 |
今年度は，引き続きマルチモーダルオンライン対話音声コーパスの整備を進めるとともに，ビデオチャット・音声チャット・テキストチャットという3種類のオンライン対話ごとに感情推定モデルを構築する予定であった。その中でもテキストチャット場面における感情推定モデルの構築を行った。
マルチモーダルオンライン対話データからテキストチャットによって対話を行っている26名のデータを使用した。マルチモーダルオンライン対話データに含まれる感情3次元の評価値を正解とし，計測した話者の自律神経系反応（心拍・発汗）およびテキスト情報から３次元の感情（快ー不快，覚醒ー睡眠，支配ー服従）を推定するモデルを構築し，その検証を行った。
この時使用した感情評価値は，話者自身が自分の感情を評価したものではなく，対話相手からみてどのような感情状態にあるかを評価した値を用いている。また，使用したテキスト情報も，対話相手に示すためにチャットのタイムラインにあげるテキストではなく，タイムラインにあげる前にメッセージボックスに記入しているテキスト情報を利用した。メッセージボックスに記載されたテキストをWord2Vecを用いて単語ベクトルを取得した。心拍の特徴量はフレームサイズ4秒，シフト長50ミリ秒で6種類の特徴量を抽出した。発汗の特徴量も心拍と同様のフレームサイズおよびシフト長で6種類の特徴量を抽出している。
言語情報は単語埋め込みを行ったのち，Long short-term memory(LSTM)を利用したネットワークで感情情報を推定するモデルを構築した。心拍・発汗の特徴量もLSTMで感情を推定するモデルを構築した。それぞれの出力を統合し，感情評価値の推定を行った。その結果，正解となる感情の評価値と推定値との誤差が快－不快で0.32，覚醒－睡眠および支配－服従では0.36となった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
新型コロナウィルス感染防止による政策として，緊急事態宣言が出されたことにより，大学への出勤が制限されたため，研究データへのアクセスが制限された。そのため，データ整備や実験が予定どおりに実施できなかった。
|
| 今後の研究の推進方策 |
今年度に，テキストチャット場面におけるマルチモーダル感情推定のモデル構築は実現できたが，まだビデオチャット場面と音声チャット場面のモデルが作成できていない。令和3年度は環境ごとのモデル構築を行いその精度を検証する。
|
| 次年度使用額が生じた理由 |
新型コロナウィルス感染防止による政策として，緊急事態宣言が出されたことにより，大学への出勤が制限されたため，研究データ整備や実験が予定どおりに実施できなかったことにより次年度使用額が生じた。また，研究成果の発表を予定していた学会の開催が見送られたり，オンライン開催になったため，それにかかる支出が抑えられ，次年度使用額が生じた。令和3年度は，データ整備に必要な機材や人材の確保および研究発表に予算を使用していく予定である。
|
