ロボットとの心地よいコミュニケーションを実現する微表情による感情推定法の開発
Project/Area Number |
22K12130
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 61020:Human interface and interaction-related
|
Research Institution | Toyama Prefectural University |
Principal Investigator |
高野 博史 富山県立大学, 工学部, 准教授 (40363874)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
Keywords | 微表情 / 感情推定 / 特徴選択 / 深層学習 / 部分遮蔽 / 表情認識 / 特徴量選択 / 特徴抽出 / 画像認識 |
Outline of Research at the Start |
微表情はヒトが無意識のうちに生じるわずかな顔の動きであり、感情とは異なる表情を表出することはできないため、真の感情を反映している。顔映像から微表情を検出し、感情を推定することができれば、ロボットが人に寄り添った心地よいコミュニケーションを行うことが可能となる。本研究では、顔の向きや顔の部分遮蔽が生じた場合でも、微表情による感情推定が可能となる手法を開発する。本提案法は、顔の向きや遮蔽領域の検出結果をもとに、感情推定に用いる複数の特徴量を選択することで顔の状態変化に対応する。本研究で得られる知見は、微表情による感情推定システムを実環境で利用する際の指標となる。
|
Outline of Annual Research Achievements |
微表情はヒトが無意識のうちに生じるわずかな顔の動きであり、感情とは異なる表情を表出することができないため、真の感情を反映している。顔映像から微表情を検出し、感情を推定することができれば、ロボットが人に寄り添った心地よいコミュニケーションを行うことが可能となる。本研究では、顔の向きや顔の部分遮蔽が生じた場合でも、微表情による感情推定が可能となる手法を開発する。 2022年度では、微表情による感情推定に有効な特徴量とそれらの特徴量を算出する顔の注目領域を選択する手法を開発した。感情推定に用いた特徴量は、LBP(Local Binary Pattern)、CBP(Central Binary Pattern)、HOG(Histograms of Oriented Gradients)、HIGO(Histograms of Image Gradient Orientation)、OF(Optical Flow)の5種類とし、顔の注目領域は15領域とした。感情推定に用いる識別器にはXGBoostを使用し、5種類すべての特徴量を用いて感情推定に有効な特徴量および顔の注目領域を選択する方法と、特徴量ごとに有効な顔の注目領域を選択する方法で感情推定性能の評価を行った。評価実験では、3種類の微表情データベースを使用し、LOSO(Leave One Subject Out)とLOVO(Leave One Video Out)の2種類の交差検証を実施した。 実験結果より、特徴量および特徴量を抽出する顔の注目領域を選択することで、微表情による感情推定の精度向上がみられた。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
顔向きの変化や部分遮蔽が生じた場合に対応した微表情による感情推定法を開発するために、複数の特徴量とそれらの特徴量を算出する顔の注目領域を選択することにより、推定精度の向上を試みた。本手法で用いる特徴量は、LBP、CBP、HOG、HIGO、OFの5種類とし、OF以外は時間軸へ拡張した特徴量とした。また、これらの特徴量を算出する顔の注目領域は、顔の特徴点(ランドマーク)を基準として15領域を設定した。次に、特徴量の次元削減には、クラス内分散・クラス間分散比を用いた。顔の注目領域ごとに、各特徴量の各次元に対してクラス内分散・クラス間分散比を算出し、次元削減の割合に応じて分散比の値が大きい成分から選択した。感情推定に用いる識別器としてXGBoostを採用し、5種類すべての特徴量を用いて感情推定に有効な特徴量および顔の注目領域を選択する方法と、特徴量ごとに有効な顔の注目領域を選択する方法で評価した。 感情推定の精度評価には、SMIC、CASME-II、SAMMの3種類の微表情データベースを用いて、評価指標はAccuracyとした。交差検証には、LOSO(Leave One Subject Out)とLOVO(Leave One Video Out)の2種類とした。ここで、LOSO交差検証は、一人の被験者の映像データを評価データとして用い、残りの被験者の映像データを学習用データとして使用する方法である。一方、LOVO交差検証は、一つの映像データを評価データとして用い、残りの映像データを学習用データとして使用する方法である。 LOSO交差検証では、すべてのデータベースに対して、全特徴量を用いた方法が最も高い精度を示した。一方、LOVO交差検証では、SMICおよびCASME-IIのデータベースではHOGが、SAMMでは全特徴量による方法が最も高い識別精度を示した。以上の結果より、特徴量および特徴量を抽出する顔の注目領域を選択することで、微表情による感情推定精度が向上することが明らかとなった。
|
Strategy for Future Research Activity |
2022年度は、微表情による感情推定に用いる特徴量および特徴量抽出のための顔の注目領域を選択することにより、推定精度を向上させることができた。今後、さらなる精度向上を目指して、深層学習を利用した特徴抽出器の開発を試みる。ここで、深層学習による特徴抽出器として、two-stream CNNや3D ResNet、ViTなどを基本モデルとし、微表情による感情推定に適したネットワーク構造を検討する。そして、複数のネットワークモデルに対して感情推定の精度を比較することにより、微表情による感情推定に最適な特徴抽出のためのネットワークモデルを明らかにする。 これまでの解析で使用した顔映像は正面顔のみであり、顔向きの変化や部分遮蔽が生じた場合の性能評価は行われていない。そこで、感情推定に有効な特徴量と顔の注目領域を精査することにより、顔の部分遮蔽に対する感情推定性能の評価を行う。さらに、マスクやサングラスなどによる顔の部分遮蔽を想定して、微表情データベースの映像に対して目周辺や口および鼻の周辺をマスキングした映像を作成し、感情推定精度を調査する。 顔の部分遮蔽により、微表情による感情推定の精度が低下することが予想される。そこで、顔の遮蔽領域を検知し、顔の状態に即して算出した複数の特徴量を組合せた感情推定法の開発を行う。さらに、顔の状態推定と顔の各状態に適した特徴量抽出を同時に行う手法を開発し、上記の手法との比較を行うことで顔の状態変化に適応した微表情による感情推定法の確立を目指す。
|
Report
(1 results)
Research Products
(2 results)