Research and development of a system for evaluating emotion with facial skin temperature

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K12020
• Research Institution: The University of Electro-Communications
• Principal Investigator: 水野 統太 電気通信大学, 大学院情報理工学研究科, 准教授 (00337875)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 赤外線サーモグラフィ / 実画像 / 顔面皮膚温度 / 感動

Outline of Annual Research Achievements

本研究は，顔面皮膚温度を用いた感動を評価するシステムの研究開発を目的とする．音楽や本などさまざまなコンテンツに対するヒトの感情の変化パタンを生理情報により評価・推定することにより，“感動させるコンテンツ作成の手掛かり・足掛かりとなる指標作成”や“ユーザが興味を持つと思われるコンテンツを推薦するレコメンドシステム”を目指している．
ヒトの自律神経はさまざまな状態や状況により変化するが，鼻部周辺の皮膚温度はこの変化を間接的に評価することができる．これまでメンタルワークロード評価などのストレス研究が多く行われてきたが，感動や興味などのポジティブな状態へ移行させるような効果についての評価は少ない．本研究を突破口に，顔面皮膚温度が脳波や心拍のようにさまざまな場面で使用できる新しい自律神経活動の指標として展開させることを第一に考え研究を行ってきた．
本や動画などのコンテンツを利用し，ポジティブな効果を与えると思われるタスク
を用いて被験者実験を行った．これにより，ヒトが興味や感動する際の自律神経活動の変化パタンを検討した．
赤外線サーモグラフィにより顔面皮膚温度を計測し，得られたデータを用いてポジティブな効果（感動）の評価を試みてきた．一方で，実験の状況の確認目的として計測していた実画像を用いて，評価できないか検討した．色情報や位置情報を検討したところ，顔面皮膚温度と同等以上の感動の評価の可能性を示せた．

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

これまで赤外線サーモグラフィにより顔面皮膚温度を計測し，このデータを用いて感動の評価を試みてきた．一方で，実験の状況の確認目的として計測していた実画像から顔面皮膚温度と同等以上の感動の評価の可能性を示せた．計測機器として，これまで高価である赤外線サーモグラフィを用いて評価してきたが，これが，携帯電話やノートPC，USBカメラ等，すでにデバイスに組み込まれている，もしくは，安価な装置を用いても，同等以上の精度の評価の可能性を明らかにしたことが理由としてあげられる．

Strategy for Future Research Activity

引き続き，赤外線サーモグラフィおよび実画像を用いた感動の評価を行い，それぞれの装置で得な使用状況を確認するとともに，さらに高精度な評価手法の検討を行う．

Causes of Carryover

コロナの影響により，予定していた学会発表の旅費等の出費や実験の縮小を余儀なくされてしまったため，使用額に差が生じた．これらの分を，本年度の行う実験の設備改善に振り分ける予定である．