2017 Fiscal Year Research-status Report
Development of Lifelog Video Retrieval System Using Estimation of Various Emotions Based on Facial Expression Intensity
| Project/Area Number |
17K00156
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
野宮 浩揮 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (80533116)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 表情認識 / 表情強度推定 / 映像検索 / ライフログ |
|---|
| Outline of Annual Research Achievements |
ライフログ映像（個人の行動や体験を映像データとして記録したもの）を記憶の補助や行動分析等に役立てることを目的として、ライフログ映像中から、表情認識を用いて映像中の人物の感情を推定することにより、重要なシーンや印象的なシーン等の検索・提示を行うシステムを試作した。
人物の感情の強さによって、表出する表情の強さも異なると考えられることから、表情の種類を識別するだけでなく、表情の強度を推定することも重要であると考え、表情強度を正確に推定するために必要な特徴量（眉や目の端点など、顔の構成要素の位置関係から得られるため顔特徴量と呼ぶ）についての検討を行った。先行研究において用いられていた顔特徴量に加えて、新たにほうれい線の傾きや鼻と口の間の距離などの顔特徴量を考案し、顔特徴量の値から表情強度を推定するための推定式の改良を行った。その結果、ライフログ映像に含まれる笑顔や驚きの表情、ならびに、表情認識性能の評価に広く用いられているデータセットに含まれる表情（怒り、嫌悪、悲しみ）について、先行研究と比べて概ね良好な表情強度推定精度が得られた。
また、ライフログ映像から、特定の表情が特定の強度で表出しているシーンを検索・提示するシステムを試作した。本システムでは、表情の強度をヒートマップで表現することにより、ヒートマップの色の濃淡から、表情の強弱を視覚的に一覧できるため、強い喜びを感じているシーンや、微笑ましいシーンなどを比較的容易に閲覧できると考えられる。本システムの評価実験をアンケート形式にて行ったところ、システムの使いやすさや分かりやすさが良好であるという結果が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度においては、表情の識別・強度推定に有効な特徴量の明確化、表情識別モデルの構築、シーンの重要性と感情・表情の関係の明確化を挙げている。新たに導入した顔特徴量を用いて表情強度推定モデルを構築し、評価実験により、表情強度推定精度の向上を確認している。また、ライフログ映像検索システムを試作し、評価実験により、表情強度を視覚的に提示することにより、重要と思われるシーンを概ね適切に検索できることを確認している。これらの研究成果から、現在のところ、概ね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
これまでの研究で、ライフログ映像から表情表出シーンを検出し、表情表出シーンの情報（表出している表情の種類や強度、表出時間など）をデータベースに登録することにより、特定の表情が特定の強さで表出しているシーンを検索・提示できるシステムを構築した。
しかし、評価実験に使用したライフログ映像は６名程度の映像であり、また表出している表情もほとんどが笑顔であるため、データ量が十分であるとはいえない。さらに、表情表出シーンの検出精度においても、実用上十分なものではないため、今後の研究においては、ライフログ映像データの拡充、ならびに表情認識・表情強度推定における学習手法の改善を通じて、表情表出シーンの検出精度のさらなる向上を目指す。
また、ライフログ映像検索システムは、現状では試作の段階であり、機能や使いやすさの点において改善の余地がある。そこで、インタフェースの改善による使いやすさの向上や、大規模なライフログ映像データを用いた評価実験などを通じて、実用可能なライフログ映像検索システムを構築することを目指す。
|
