1.可視情報、非可視情報のデータベース作成:基本7表情の表情クラス(平常、幸福、悲しみ、嫌悪、驚き、恐怖、怒り)において、30名の被験者に対して顔画像およびこれに対応する顔距離画像、顔皮膚温度画像を撮影し、デジタイズしてデータベースを作成した。国内外においてこのようなデータベースは存在せず、今後HPにて公開する予定。 2.顔皮膚温度画像による感情推定:作成したデータベースに対して既に我々が開発した固有空間法を用いて顔皮膚温度画像による感情推定(認識)実験を行った。温度画像のみを用いた場合、70%程度の認識精度が得られたが、表情クラスによっては精度が50%を下回るクラスが見られた。 3.顔皮膚温度画像と顔画像を用いた感情推定:固有空間法において特徴ベクトルと辞書データとの類似度を計算する部分で顔皮膚温度画像と顔画像による感情推定(認識)を統合することを試みたところ、最大で10ポイント程度の推定精度の向上が見られた。 4.顔皮膚温度画像と顔画像による特徴ベクトルの時間同期:感情が顔皮膚温度に現れるまでに5秒から30秒程度の時間を要することがデータベースから明らかになった。更にこの時間は個人性による影響が大きい上、感情クラスによっても大きく変動する。このため、上記(3)における2つのメディアを統合して感情推定する手法はよいアプローチとは言えない。それぞれを独立に用いて感情推定し、感情の時間変化、推移をリンクさせる統合方法が必要であろう。 上記成果についてそれぞれ国際会議において発表し、国外のジャーナルに投稿した。
|