顔表情の可視情報と非可視情報による感情推定に関する研究

2011 Fiscal Year Research-status Report

• Project/Area Number: 23500208
• Research Institution: Japan Advanced Institute of Science and Technology
• Principal Investigator: 小谷 一孔 北陸先端科学技術大学院大学, 情報科学研究科, 准教授 (20225452)
• Project Period (FY): 2011-04-28 – 2014-03-31
• Keywords: 顔画像解析 / 表情認識 / サーモグラフィ

Research Abstract

１．可視情報、非可視情報のデータベース作成　被験者による可視情報、非可視情報の基礎データベースを作成した。被験者2名に対して各表情のシーンについてて顔画像、顔距離画像、顔皮膚温度画像を撮影し、データベースを作成した。データベース作成時、被験者に各表情クラスの表情表出をリクエストした場合、顔皮膚温度の変化はわずかであった。一方、表情表出を引き出す映像や音楽を提示した場合は顔皮膚温度画像上に有意な特性が見られた。これは顔皮膚温度が人の内面の感情が表出するメディアであることを表しており、本研究で取り組む人の感情推定に顔皮膚温度が不可欠であることが確かめられたと言える。２．表情空間、感情空間の定義、相互のマッピング 　顔画像、顔距離画像により表情クラスを識別する表情空間（特徴空間）の定義、顔皮膚温度画像により感情クラスを識別する感情空間（特徴空間）の定義（心理物理的、数理的）と特性の解析を行った。解析の結果、顔皮膚温度の特性は個人性が強く、特に顔画像との時間差が個人によって大きく異なり、更に、表情クラスによっても大きな変動が見られた。加えて、顔皮膚温度の特性は表情空間での表情クラスの分解能、分離度が低く、クラス分離には向かないことが明らかとなった。ただし、顔皮膚温度は人の内面の感情を表す上、感情の強さを計ることが可能であり、顔画像による感情クラス分離と顔皮膚温度による感情強度との統合などの展開を考えるきっかけとなった。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

予算全額の配分が遅れ、本研究において必須の機器購入が遅れたため顔皮膚温度画像のデータベース作成が予定通りに行えなかった。更に、これに伴ってデータ数が限られ、特性の個人性について十分な検討が行えていない。早急にデータ補充を行い、解析を蓄積したい。

Strategy for Future Research Activity

１．可視情報、非可視情報のデータベース作成(追加）：初年度に完成できなかったデータベースの作成を引き続き行う。２．表情空間、感情空間の定義、相互のマッピング：完成したデータベースに対して顔皮膚温度画像により感情クラスを識別する感情空間（特徴空間）の定義（心理物理的、数理的）と特性の解析を行う。可視情報と非可視情報による感情空間との組み合わせ、あるいは統合により人の感情を推定するマップを作成する。３．顔皮膚温度画像による感情推定：作成したデータベースを用いて顔皮膚温度画像による感情推定（認識）実験を行う。認識エンジンとしては、これまで我々が開発した固有空間法に加え、特徴点抽出による手法も検討する。

Expenditure Plans for the Next FY Research Funding

１．可視、非可視情報のデータベース、表情認識エンジン計算サーバーの導入　予算の全額配分が遅れたため、標記データベース作成が予定通り行えず、被験者2名のみのデータに限られた。更に補助金配分時期が不透明だったため、データベースを蓄積、処理するサーバーを購入できていない。次年度では被験者を増やして大量の可視情報、非可視情報データベースを作成するため、当該サーバーの購入が不可欠である。加えて、大量の画像データを処理・認識するために高い計算能力を有する計算サーバーが必要となる。本計画では、データベースサーバーと計算サーバーとを共用できる機器の導入を計画している。２．研究打ち合わせおよび研究成果発表　データベースを早期に完成させ、検討を進めて研究成果を国内外で発表する計画である。