自然な表情出現頻度に基づく確率的表情認知モデルの構築

2017 Fiscal Year Research-status Report

• Project/Area Number: 16K04437
• Research Institution: Osaka Electro-Communication University
• Principal Investigator: 小森 政嗣 大阪電気通信大学, 情報通信工学部, 教授 (60352019)
• Co-Investigator(Kenkyū-buntansha): 池田 功毅 中京大学, 心理学部, 助教 (20709240)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 感情 / 混合表情 / 隠れマルコフモデル

Outline of Annual Research Achievements

コミュニケーション場面においては，複数の表情が同時もしくは短い時間的なずれを伴って様々な時間範囲で表出される混合表情（例えば嫌悪と喜びが同時に表出される「苦笑い」など）がしばしば観察される．混合表情の開始，終了時点を確定することができれば，様々な混合表情を比較することが可能となる．2017年度は，モーションキャプチャで計測された顔3次元形状の時系列データをもとに，混合表情のパタンを抽出することを試みた．今年度の研究で試みた手法をいかに記述する．まず，モーションキャプチャデータの各フレームにおける全ての標識点座標値（x, y, z）を多変量データとみなし，一般化プロクラステス法により座標点を整列する．さらに，これらに対して主成分分析や独立成分分析などの次元圧縮手法を適用する．さらに，各次元に対して時系列方向に隠れマルコフモデル（HMM）（もしくは）およびViterbiアルゴリズムを適用し，各次元の状態を推定する．これにより各時点における表情の顕著性を情報量の観点から算出することが可能となる．さらに複数の次元における状態の組み合わせパタンを抽出することで複雑な混合表情を記述することができるというものである．今年度はコミュニケーション場面ではなく，表情模倣時および映像刺激視聴時における顔形状を光学式モーションキャプチャ装置により計測し分析を行い上記手法の有効性について検討した．その結果，状態の組み合わせによる混合表情の記述は，実験参加者が実際に表出した表情や参加者自身の感情状態を明確に反映していることが示された．このことからこの手法が混合表情の分析の有効な手段であることがわかった．さらに，HMMの状態数をアプリオリに決定しない無限隠れマルコフモデル(iHMM)の適用を試みたものの，状態数の決定が難しく現時点での解決策は見いだせていない．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究は，「顔形状およびその変化から感情状態を推定する逆問題」であると捉え，日常的な表情の出現確率の分布をもとに階層的表情認知モデルをベイズ統計的な観点から構築することを目指している．本研究の特徴は，ある時点での表情は単一の感情状態が表出されているわけではなく，複数の感情状態を背景にした顔形状変化が重ね合わさったものであると考えるところにある．このような表情は一般的に混合表情と呼ばれる．すなわち我々が見ている表情は，異なった時間的性質を持つ表情が重畳したものであると考える．しかしながら，この混合表情には，多変量時系列データ特有の難しさがあり，混合表情を扱う手法の構築に関して，その試行錯誤に当初予定した以上の時間を要してしまった．これが，現在研究の進捗が不十分であることの主たる原因であると考えている．またこの問題は現在も十分には解決しているとは言えない．

Strategy for Future Research Activity

本年度は，2017年度の研究をもとに，国際会議，論文誌等で成果公表を行い，混合表情の定量的な解析手法について広く議論していく予定である．そのためには，これまで行った実験だけでなく，モーションキャプチャ装置を用いて実際のコミュニケーション場面を取り上げた表情表出実験を行い，これを分析していく必要があると考えている．また実際に表出された表情の認知についても，表情の受け手の主観・行動の両面から検討する必要があると考えている．ただ，この研究の重要な課題の一つは，依然として混合表情の分析手法の確立にあると考えている．上述のように，表情の時系列変化は，その変化パタンが明らかではなく，先行文脈によってもその時空間的性質が大きく変化する場合がある非常に複雑なものである．このような複雑な時空間的特性を扱うための手法についてもさらに検討していきたい．

Causes of Carryover

表情分析の手法の確立に当初予定以上に時間がかかっているため，国際会議への投稿・参加ができなかったことが次年度使用額が生じた理由の一つである．また，実際のコミュニケーション場面での表情計測実験を行うための費用についても，実験を行うに至らなかったために発生しなかった．また分担者の実験計画の進行が当初予定より遅れており，分担金において多くの次年度使用額が生じている．本年度は，研究代表者，研究分担者ともに，当初昨年度・一昨年度に予定してた実験を実行する．またその成果を国際会議，国際誌等で広く公表することを予定しており，最終的には当初予算額を執行する予定である．