Development of Lifelog Video Retrieval System Using Estimation of Various Emotions Based on Facial Expression Intensity

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K00156
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Multimedia database
• Research Institution: Kyoto Institute of Technology
• Principal Investigator: Nomiya Hiroki 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (80533116)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: ライフログ映像 / 映像検索 / 表情認識 / 表情強度推定

Outline of Final Research Achievements

Focusing on lifelog videos, we developed a video retrieval system to retrieve and display important scenes in lifelog videos. An important scene is defined as a scene in which a person in the video shows a certain emotion. The emotion of a person is estimated by recognizing the type and intensity of a facial expression of that person. Our video retrieval system finds important scenes using a facial expression recognition model developed by means of a machine learning technique and several facial features computed from the positional relationships of facial feature points. In addition, we analyzed the effectiveness of facial features. As a result of the analysis, we found a number of facial features which were effective to recognize various facial expressions such as happiness and surprise.

Free Research Field

マルチメディアデータ工学

Academic Significance and Societal Importance of the Research Achievements

スマートフォンの普及等により、ライフログ映像に相当する映像データが多く作成されている。従来、映像検索を行う際には、注釈をつける等の手間が必要であったが、本研究では、映像中の人物の表情のみを手がかりにシーン検索ができるため、映像検索を容易に行うことができるようになる点で社会的意義があるといえる。また、表情認識に関する多くの研究では、どのような特徴量が認識に有効かという点は考慮されていない。本研究では、いくつかの特徴量に対してこの点を明らかにしたことにより、学術的意義があるといえる。