2018 Fiscal Year Research-status Report
感情の連続的な変化を推定するリアルタイムマルチモーダル感情認識システムの構築
| Project/Area Number |
17K00160
|
|---|
| Research Institution | Teikyo University |
|---|
Principal Investigator |
有本 泰子 帝京大学, 理工学部, 講師 (60586957)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 音声コーパス / 感情推定 / オンラインチャット / マルチモーダル / 感情 / 機械学習 / 音声・表情 / 自律神経系反応 |
|---|
| Outline of Annual Research Achievements |
昨年度に引き続き，機械学習によって構築するマルチモーダル感情推定モデルの学習・評価用データの整備を進めるとともに，リアルタイムに話者の情報（表情，音声，自律神経系反応（心拍・発汗））を取得し，話者の感情を推定するシステムの実装を行なった。データ整備はテキストチャットの会話内容を転記する作業と，自律神経系反応と映像・音声との同期をとる作業を進めたが，現状ではまだ全てのデータの整備は完了していない。
また，システムの実装は，マルチモーダル情報入力部・特徴量抽出部・感情推定部・推定結果表示部の実装を行なった。マルチモーダル情報入力部は簡易なカメラとマイクおよび心電図・皮膚電気反応が計測可能なセンサーから，話者の表情・音声・ 心拍・発汗の情報を実時間で取得する。特徴量抽出部は，話者の情報から感情を推定するために必要な特徴量の計算を行う。感情推定部の実装も行なったが，推定モデルの構築が完成していないため，ダミーのモデルを適用し，動作の確認を行なっている。さらに，推定結果表示部では，話者の感情状態が時間の流れに沿って動的に変化する様子を呈示するため，3 次元で構成される感情空間上に話者の感情状態の推定結果を示すマーカーを配置する 3D アニメーションを実装した。
本研究に関連する研究成果として，感情を含んだ際の特徴量抽出に関わる分析について，査読付き国際会議で1件の研究発表を行った。また，感情表現コーパスに関する内容で講演を依頼され，国際会議で1件，国内の企業講演会で1件の招待講演を行った。それ以外にも，関連する研究内容で3件の国内の学会発表がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
予想以上にデータ整備に時間がかかったため，当初の予定を変更し，感情推定モデルの作成よりも先にシステムの実装に着手した。そのため，研究計画全体では進捗に遅れはない。
|
| Strategy for Future Research Activity |
今年度は，引き続きマルチモーダルオンライン対話音声コーパスの整備を進めるとともに，二つの研究を行う予定である。一つは，マルチモーダルオンライン対話データに含まれる感情3次元の評価値を正解とし，計測した話者の表情・音声・自律神経系反応から感情を推定するモデルを構築し，その検証を行う。もう一つは，対話中の感情の変化を推定する際に表情筋の特徴量が利用できるか検討を行う。
|
| Causes of Carryover |
データ整備が遅れており，そのための人件費の支出が抑えられたため，次年度使用額が生じた。次年度使用額は，令和元年度予算と合わせて，引き続きデータ整備を行うために使用する予定である。
|
