| 研究課題/領域番号 |
22K12130
|
|---|
| 研究機関 | 富山県立大学 |
|---|
研究代表者 |
高野 博史 富山県立大学, 工学部, 准教授 (40363874)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 微表情 / 感情推定 / 特徴選択 / 深層学習 / 部分遮蔽 |
|---|
| 研究実績の概要 |
微表情はヒトが無意識のうちに生じるわずかな顔の動きであり、感情とは異なる表情を表出することができないため、真の感情を反映している。顔映像から微表情を検出し、感情を推定することができれば、ロボットが人に寄り添った心地よいコミュニケーションを行うことが可能となる。本研究では、顔の向きや顔の部分遮蔽が生じた場合でも、微表情による感情推定が可能となる手法を開発する。
2022年度では、微表情による感情推定に有効な特徴量とそれらの特徴量を算出する顔の注目領域を選択する手法を開発した。感情推定に用いた特徴量は、LBP（Local Binary Pattern）、CBP（Central Binary Pattern）、HOG（Histograms of Oriented Gradients）、HIGO（Histograms of Image Gradient Orientation）、OF（Optical Flow）の5種類とし、顔の注目領域は15領域とした。感情推定に用いる識別器にはXGBoostを使用し、5種類すべての特徴量を用いて感情推定に有効な特徴量および顔の注目領域を選択する方法と、特徴量ごとに有効な顔の注目領域を選択する方法で感情推定性能の評価を行った。評価実験では、3種類の微表情データベースを使用し、LOSO（Leave One Subject Out）とLOVO（Leave One Video Out）の2種類の交差検証を実施した。
実験結果より、特徴量および特徴量を抽出する顔の注目領域を選択することで、微表情による感情推定の精度向上がみられた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
顔向きの変化や部分遮蔽が生じた場合に対応した微表情による感情推定法を開発するために、複数の特徴量とそれらの特徴量を算出する顔の注目領域を選択することにより、推定精度の向上を試みた。本手法で用いる特徴量は、LBP、CBP、HOG、HIGO、OFの5種類とし、OF以外は時間軸へ拡張した特徴量とした。また、これらの特徴量を算出する顔の注目領域は、顔の特徴点（ランドマーク）を基準として15領域を設定した。次に、特徴量の次元削減には、クラス内分散・クラス間分散比を用いた。顔の注目領域ごとに、各特徴量の各次元に対してクラス内分散・クラス間分散比を算出し、次元削減の割合に応じて分散比の値が大きい成分から選択した。感情推定に用いる識別器としてXGBoostを採用し、5種類すべての特徴量を用いて感情推定に有効な特徴量および顔の注目領域を選択する方法と、特徴量ごとに有効な顔の注目領域を選択する方法で評価した。
感情推定の精度評価には、SMIC、CASME-II、SAMMの3種類の微表情データベースを用いて、評価指標はAccuracyとした。交差検証には、LOSO（Leave One Subject Out）とLOVO（Leave One Video Out）の2種類とした。ここで、LOSO交差検証は、一人の被験者の映像データを評価データとして用い、残りの被験者の映像データを学習用データとして使用する方法である。一方、LOVO交差検証は、一つの映像データを評価データとして用い、残りの映像データを学習用データとして使用する方法である。
LOSO交差検証では、すべてのデータベースに対して、全特徴量を用いた方法が最も高い精度を示した。一方、LOVO交差検証では、SMICおよびCASME-IIのデータベースではHOGが、SAMMでは全特徴量による方法が最も高い識別精度を示した。以上の結果より、特徴量および特徴量を抽出する顔の注目領域を選択することで、微表情による感情推定精度が向上することが明らかとなった。
|
| 今後の研究の推進方策 |
2022年度は、微表情による感情推定に用いる特徴量および特徴量抽出のための顔の注目領域を選択することにより、推定精度を向上させることができた。今後、さらなる精度向上を目指して、深層学習を利用した特徴抽出器の開発を試みる。ここで、深層学習による特徴抽出器として、two-stream CNNや３D ResNet、ViTなどを基本モデルとし、微表情による感情推定に適したネットワーク構造を検討する。そして、複数のネットワークモデルに対して感情推定の精度を比較することにより、微表情による感情推定に最適な特徴抽出のためのネットワークモデルを明らかにする。
これまでの解析で使用した顔映像は正面顔のみであり、顔向きの変化や部分遮蔽が生じた場合の性能評価は行われていない。そこで、感情推定に有効な特徴量と顔の注目領域を精査することにより、顔の部分遮蔽に対する感情推定性能の評価を行う。さらに、マスクやサングラスなどによる顔の部分遮蔽を想定して、微表情データベースの映像に対して目周辺や口および鼻の周辺をマスキングした映像を作成し、感情推定精度を調査する。
顔の部分遮蔽により、微表情による感情推定の精度が低下することが予想される。そこで、顔の遮蔽領域を検知し、顔の状態に即して算出した複数の特徴量を組合せた感情推定法の開発を行う。さらに、顔の状態推定と顔の各状態に適した特徴量抽出を同時に行う手法を開発し、上記の手法との比較を行うことで顔の状態変化に適応した微表情による感情推定法の確立を目指す。
|
| 次年度使用額が生じた理由 |
本年度は、深層学習を用いた顔の状態検出を含む特徴抽出モデルの構築のためにGPUボードおよびコンピュータの購入を予定していた。しかし、本モデル構築まで進まなかったため購入するに至っていない。次年度は、深層学習による特徴抽出モデル（顔の状態検出モデルを含む）の構築に関する研究を行うため、GPUボードおよびコンピュータの購入を予定している。
|
