2016 Fiscal Year Annual Research Report
Lifelog video retrieval using emotion estimation based on recognition of spontaneous facial expressions
| Project/Area Number |
15K15993
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
野宮 浩揮 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (80533116)
|
|---|
| Project Period (FY) |
2015-04-01 – 2017-03-31
|
| Keywords | ライフログ / 映像検索 / 感情推定 / 表情認識 / 表情強度 |
|---|
| Outline of Annual Research Achievements |
感情推定に基づいて、ライフログ映像から印象的なシーンを効率的に検索・提示するシステムを構築した。最終年度では、感情推定のための内発的表情認識および表情の強度推定に用いる特徴量（様々な顔特徴点の位置関係に基づくもの）を改善し、表情認識精度ならびに表情強度の推定精度を向上させた。また、前年度までは、表情認識・表情推定手法の評価において、笑顔のみを対象としていたが、新たにライフログ映像データセットを作成し、驚きなどの内発的表情も対象として、表情認識・表情推定手法の性能評価を行い、ある程度正確に表情認識と表情強度推定ができることを明らかにした。さらに、この表情認識・表情強度推定手法を用いて、ライフログ映像から多様な表情が様々な強さで表出しているシーンを検索するシステムを構築した。この検索システムは、手軽に利用できることを目的として、ウェブブラウザ上で動作するものとした。前述のライフログ映像データセット作成に参加した者により、構築したライフログ映像検索システムの評価を行った。その結果、システムの利用者が見たいと感じるシーンをある程度的確に提示できることを確認した。
以上により、期間全体として、本研究の目的である、内発的表情の正確な認識および強度推定、表情認識・強度推定手法を用いたライフログ映像からの印象的なシーンの検出、ライフログ映像検索システムの構築と評価をすべて行うことができた。ただし、評価実験を通じて、表情強度の推定精度やライフログ映像検索システムの使いやすさには改善の余地があることが明らかとなったため、これらは今後の研究において取り組む予定である。
|
