Gaze Estimation based on Saliency Dynamics Analysis

2016 Fiscal Year Annual Research Report

• Project/Area Number: 15K16018
• Research Institution: The University of Tokyo
• Principal Investigator: 米谷 竜 東京大学, 生産技術研究所, 助教 (40733481)
• Project Period (FY): 2015-04-01 – 2017-03-31
• Keywords: 視線推定

Outline of Annual Research Achievements

映像コンテンツ，それを閲覧する際の視線情報，その背後に潜む内的状態の関係性を明らかにする注視行動解析を日常生活において実現するためには，テレビやパソコン，スマートフォンといった既成端末上で簡便に駆動する視線推定システムが不可欠である．本研究では，視線推定手法の一つである特徴ベース視線推定をとりあげ，映像コンテンツ中で人間の目を引き付ける顕著性変動と呼ばれる情報を解析して用いることで，カメラ・ディスプレイのみで構成される端末上で駆動し，かつ利用者ごとの事前校正を必要としない視線推定システムを実現することを目指す．

本年度は，これまでの成果を含め，コンピュータビジョン分野における視線推定および顕著性解析の様々な手法の関係性に着目し，映像・画像コンテンツ中において重要と思われる領域を自動抽出する技術「重要領域抽出」という枠組みの中で，各技術の利点，欠点を整理した．たとえば，前年度に開発した顕著性変動に基づく視線推定は，人間が何に注意を向けるかという特性をうまく考慮して重要（＝注意が向きやすい）領域を抽出できる一方，重要領域抽出のために毎回人間の計測が必要となるという欠点もある．逆に，顕著性変動の解析自体は，このような人間の計測なしに重要領域を抽出できる一方で，人間の（とりわけトップダウンの）注意を必ずしも反映したものではない．

これらをまとめた成果は書籍の一章として執筆され，現在出版前の校正段階である．