2015 Fiscal Year Research-status Report
内発的表情の認識に基づく感情推定によるライフログ映像検索に関する研究
| Project/Area Number |
15K15993
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
野宮 浩揮 京都工芸繊維大学, その他部局等, 助教 (80533116)
|
|---|
| Project Period (FY) |
2015-04-01 – 2017-03-31
|
| Keywords | 表情認識 / 機械学習 / 映像検索 / ライフログ |
|---|
| Outline of Annual Research Achievements |
感情推定に基づくライフログ映像検索を行う上で最も重要な要素である、内発的表情（自然に表出した表情）の認識法の確立を目指した。内発的表情を正確かつ迅速に識別するため、アンサンブル学習法を用いて、多数の顔特徴量（眉、目、口の端点などの位置関係）から、少数の有用な顔特徴量のみを選択し、高速な表情認識が可能な識別モデルを構築した。また、内発的表情は非常に多様であり、感情の強さによっても表情が異なるため、単に表情の種類を識別するだけでは不十分であり、表情の種類とともに、表情の強度を考慮する必要があると考えられる。そこで、アンサンブル学習で用いる複数の学習モデルの識別結果から、表情の強度を推定する手法を構築した。
ライフログ映像を想定して撮影した、自然に表出した表情が含まれる映像データセットを使用して、笑顔の識別ならびに笑顔の強度を推定する実験を通じて、提案手法の評価を行った。その結果、多くの映像について、おおむね７割程度の精度で笑顔を識別できた。また、表情強度についても、人手で判断した表情強度と、提案手法により推定された表情強度の間に強い正の相関がみられた。
意図的に表出された表情の認識に関しては研究が進んでいるが、内発的表情を対象とした表情認識に関する研究はあまり進んでいない。さらに、表情強度の推定は、重要性が高いにもかかわらず、ほとんど焦点が当てられていないことから、本研究の成果は、ライフログ映像検索のように、実用的な場面で使用する上で大きい意義があると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２７年度には、感情に基づくライフログ映像検索の基礎となる、内発的表情の識別法を構築した。また、ライフログ映像を用いた表情認識・表情強度推定実験により、構築した表情識別法の評価を行い、ある程度精度よく、かつ効率的に表情認識ならびに表情強度推定ができることを確認した。
本研究成果は、当該年度の主たる研究計画（検出対象とする感情の選定、内発的表情ならびに表情強度の認識に有効な特徴量の選定、内発的表情認識手法の構築と評価）をおおむね達成しているといえる。なお、検出対象とする感情としては、これまでに作成したライフログ映像データの内容の分析等から、喜びや驚きを伴うものが特に重要であると考えている。
|
| Strategy for Future Research Activity |
これまでの研究で、内発的表情の識別法ならびに表情強度の推定法を確立することができたので、今後の研究においては、研究計画に従い、これらの手法を用いて、映像中から印象的なシーンを正確かつ高速に検出する手法を確立し、ライフログ映像からの印象的なシーンの検索システムを構築する。また、これまでの研究では、主に笑顔（喜び）を対象として、表情認識手法の評価を行ってきたが、驚きを伴うシーンなども印象的なシーンと考えられるため、ライフログ映像データの拡充を行い、複数の表情を含むデータセットを用いて、ライフログ映像検索システムの評価を行う。
|
