| 研究概要 |
ライフログデータの主な構成要素である映像データから,映像中の人物の感情が変化しているシーンを印象的なシーンとして検索することを目的として,感情が反映されていると考えられる,人物の表情を認識し,様々な表情が表出しているシーンを検出する手法を構築した.人物の表情を認識するため,映像データから得られる各フレームの静止画像に含まれる人物の顔から,表情表出に関与する顔特徴点を抽出し,複数の顔特徴点の位置関係および顔特徴点周辺の画素の輝度分布などの特徴量を用いて,効率的に認識を行う学習システムを構成した.本学習システムでは,映像(画像)データから容易に取得・処理できる簡潔な特徴量から,有用な特徴量のみを選出し,それらを複数組み合わせて学習を行うため,本学習システムの導入により,ライフログのように大規模な映像データベースに対して適用可能な,効率的な感情表出シーン検索システムの基盤を構築できる.
また,複数の人種・年齢・性別の被験者により構成されている表情認識性能評価用の映像データセットを用いて,感情(表情)が表出しているシーンの検出性能評価を行った.その結果,喜びや驚きの表情が表出しているシーンを7～8割程度の精度で検出できることを確認した.これらの表情が表出しているシーンは,ライフログデータを用いて,過去にあった出来事を振り返る際などに,特に検索の対象となりやすいと考えられるので,この結果は的確な感情表出シーン検索を行う上での有用性を示すものである.
したがって,ライフログデータを対象としたシーン検索を行う際に重視すべきであると考えられる,検索精度と検素速度のトレードオフを考慮した感情表出シーン検出手法を構築することができたといえる.
|
