2018 Fiscal Year Research-status Report
Development of Lifelog Video Retrieval System Using Estimation of Various Emotions Based on Facial Expression Intensity
| Project/Area Number |
17K00156
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
野宮 浩揮 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (80533116)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 表情認識 / 表情強度推定 / 映像検索 |
|---|
| Outline of Annual Research Achievements |
人物の表情に基づいて、ライフログ映像から様々なシーンを検索するためには、映像中の人物の表情の種類を見分けるだけでなく、どの程度の強さで表情が表出しているかを正確に推定することが重要であると考えられる。そこで、本年度は、機械学習等を用いて、表情強度を推定するモデルを作成することに注力した。
具体的には、眉・目・口といった、表情表出に深く関係する顔面の構成要素の周囲の点（顔特徴点と呼ぶ）の位置関係に基づいて、顔特徴点間の距離や角度等の特徴量を定め、様々な表情の表出時における特徴量を用いて学習を行うことにより、表情強度を推定するモデルを作成した。作成した推定モデルの評価を行ったところ、特に笑顔のようなポジティブな感情を抱いた際に表出される表情について、比較的高精度に表情強度の推定ができることを明らかにした。一方、悲しみ等のネガティブな表情については、表情強度の推定精度に改善の余地が見られた。
これまでに行ってきた研究では、表情認識や表情強度を推定する際に、複数の特徴量を組み合わせて推定モデルを構築しており、それぞれの特徴量が、どの程度推定精度に寄与しているかが判然としていなかった。そこで、ニューラルネットワークを用いて、各特徴量の寄与度を求め、どの表情に対してどの特徴量が効果的に働くのかを明らかにすることを試みた。その結果、基本６表情（怒り、嫌悪、恐怖、幸福、悲しみ、驚き）のそれぞれについて、表情の識別や表情強度の推定に寄与する特徴量をある程度明らかにすることができた。本研究成果をもとに、次年度では、特徴量の改善を行い、より精度の高いライフログ映像検索システムの構築を目指す。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題の中核をなす要素は、高精度な表情認識と表情強度推定である。本年度は、特に表情強度推定モデルの構築法を確立することに重点を置いており、本年度の研究成果から、ライフログ映像検索に必要となるレベルでの表情強度推定モデル構築の目標はおおむね達成されていると考えられるため、現在のところ、本研究課題はおおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
これまでの研究で構築した表情認識・表情強度推定モデルを用いて、ライフログ映像中から印象的なシーンを検索する手法を確立する。また、この手法を用いて、ウェブブラウザ上でライフログ映像からの様々なシーンの検索・提示を可能とするシステムを構築し、実際にライフログ映像を検索する実験を通じて、検索精度や検索システムの使いやすさ等の評価を行う。評価の結果、改善すべき点が明らかになった場合は、システムの改善に努める。
|
| Causes of Carryover |
次年度使用額は、当初、実験協力者（１名）に謝金として支払う予定であったものであるが、年度末に実験協力者が謝金の受け取りの辞退を表明したため、生じたものである。次年度使用額分は、次年度における実験の謝金に充当することを予定している。
|
