2017 Fiscal Year Research-status Report
感情の連続的な変化を推定するリアルタイムマルチモーダル感情認識システムの構築
| Project/Area Number |
17K00160
|
|---|
| Research Institution | Teikyo University |
|---|
Principal Investigator |
有本 泰子 帝京大学, 理工学部, 講師 (60586957)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 音声コーパス / 感情推定 / オンラインチャット |
|---|
| Outline of Annual Research Achievements |
機械学習によって構築するマルチモーダル感情推定モデルの学習・評価用データの整備を進めた。マルチモーダル感情推定モデルの構築には，これまでに収録した100名50組のマルチモーダルオンライン対話データを使用する。本データは，実際にシステムを応用する場面を想定し，友人同士の対話参加者に実際にオンラインチャットをさせ，その場面の話者の情報（表情・音声・自律神経系反応（表情筋・心拍・発汗））を記録している。コミュニケーションに利用可能なモダリティをコントロールし，比較するため，チャットの種類はビデオチャット・音声チャット・テキストチャットの3種類を用意し，参加者にはいずれかひとつのチャット環境で対話をさせている。さらに，対話参加者に自分自身と対話相手の感情3次元（快-不快，覚醒-睡眠，支配-服従）を対話の遷移に沿って，動的に評価をさせている。本対話データに含まれる大規模な情報を，感情推定モデルの入力値として利用する特徴量として計算し，マルチモーダル感情推定モデルの構築に利用可能な形に整備し直した。また，本研究に関連する研究成果として，推定対象とする感情の適切性について分析した結果を，国内の査読付き論文として1件，査読付き国際会議で1件の研究発表を行った。また，感情を推定する際の音声の特徴量に関して分析した結果を査読付き国際会議に採択され，2018年度に発表する予定である。さらに，本内容に関して招待講演を依頼され，国内のシンポジウムで１件，国際会議で１件の講演を行った。それ以外にも，関連する研究内容で３件の発表がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本対話データに含まれる大規模な情報を，マルチモーダル感情推定モデルの構築に利用可能な形に整備し直しているが，計測した多様な話者の情報（表情・音声・発汗・心拍・表情筋）および，評価実験によって得られた話者の感情情報を統合する作業に時間がかかっている。また，チャット場面もテキストチャット・音声チャット・ビデオチャットと3種類が存在し，その量も膨大であることが，若干の遅れの原因となっている。
|
| Strategy for Future Research Activity |
引き続き，マルチモーダルオンライン対話音声コーパスの整備を進めるとともに，マルチモーダルオンライン対話データに含まれる感情3次元の評価値を正解とし，計測した話者の表情・音声・自律神経系反応から感情を推定するモデルを構築する。本システムに実装する感情推定モデルは，対面コミュニケーション場面の感情推定の研究で，様々な手法を用いて検討を重ねており，表情・音声・心拍・発汗などのマルチモーダル情報を独立変数とした感情推定モデルを構築してきた，これまでの研究成果を参考に検討を重ねる予定である。
|
| Causes of Carryover |
国際会議における発表原稿の英文校閲費として計上した分の納品が4月以降にずれ込んだため，次年度使用額が発生した。
来年度の予算は，引き続きデータ整備を行うための費用・実装に向けたソフトウェアや機器の購入費として使用するとともに，採択されている査読付き国際会議の旅費などに充てる予定である。
|
