2015 Fiscal Year Research-status Report
映像コンテンツの顕著性変動解析による特徴ベース視線推定
| Project/Area Number |
15K16018
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
米谷 竜 東京大学, 生産技術研究所, 助教 (40733481)
|
|---|
| Project Period (FY) |
2015-04-01 – 2017-03-31
|
| Keywords | 視線推定 / キャリブレーション / 顕著性 |
|---|
| Outline of Annual Research Achievements |
映像コンテンツ，それを閲覧する際の視線情報，その背後に潜む内的状態の関係性を明らかにする注視行動解析を日常生活において実現するためには，テレビやパソコン，スマートフォンといった既成端末上で簡便に駆動する視線推定システムが不可欠である．本研究では，視線推定手法の一つである特徴ベース視線推定をとりあげ，映像コンテンツ中で人間の目を引き付ける顕著性変動と呼ばれる情報を解析して用いることで，カメラ・ディスプレイのみで構成される端末上で駆動し，かつ利用者ごとの事前校正を必要としない視線推定システムを実現することを目指す．
本年度は，事前校正を必要としない視線推定システムの構築に着目し，映像中の動きと視線運動の相関関係を利用し，映像閲覧時に校正を非明示的に行う手法を新たに開発した．一般に，視線推定の校正では，ディスプレイ中において位置が既知であるオブジェクトと，それを注視する際の視線情報（たとえば目領域の画像や，校正前の視線データ）の組が必要になる．そのためには，既知のオブジェクトをユーザが実際に注視する必要があり，その手続きを明示的かつ事前に行うというのが従来のアプローチである．これに対して提案手法では，映像中に現れる顕著な動きパターンと，それを追従する際の視線情報のパターンが相関することに着目し，「視線パターンに相関する顕著な動きを映像から検出する」というアプローチによって，上述のオブジェクト・視線情報の組を自動的に取得する．実装のうえでは，校正に利用可能な視線パターンおよびそれに対応する映像中の顕著な動きを，整数計画問題の枠組みの中で選択している．
公開データセットを用いた実験によって，アプローチの有効性を確認した．本成果は2件の国内会議で発表された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，公開データセットを用いた実験を行った．本データセットは，監視カメラによって撮影された映像を中心としたもので，映像ごとに10名の視線データが記録されている．実験の結果，(1) ユーザ自身以外の別ユーザの校正結果情報を利用した校正を行い，(2) その結果得られた精度の低い視線データを用いて提案する自動校正を行い，校正結果を改善する というアプローチの有効性を確認した．(1) (2)のいずれの場合においても，従来必要であった明示的かつ事前の校正手続きを用いる必要がないというのが提案手法のメリットである．また，映像中に現れるすべての動きを考慮するのではなく，視覚的に顕著な（その領域の周囲と比較して色や明るさ，動きが大きくことなる）領域の動きのみを抽出して利用することで，より安定した校正を行えることを確認した．
ただし，実験の結果，映像のタイプによって提案手法の性能に差が現れることも明らかになった．例えば，少数かつ顕著な領域が上下あるいは左右に横切るような映像（例: 映像中で車両や歩行者が移動している状況）では，提案手法は有効に働く．しかしながら，類似した動きが映像中に多数現れる状況（たとえば雑踏を写した映像）や動きのほとんどない映像を閲覧する状況には適さない．
これらの成果は，2件の国内会議（情報処理学会コンピュータビジョンとイメージメディア研究会，画像の認識・理解シンポジウム）において口頭発表およびポスター発表されるとともに，研究室所属学生の修士論文としてまとめられた．
|
| Strategy for Future Research Activity |
今後は，より一般的な環境における提案手法の有効性を検証する予定である．本研究で可能となった「映像閲覧中の目の動きから自動的に視線推定の校正を行う」アプローチを用いることで，たとえば，「街中に設置されたディジタルサイネージに提示される映像コンテンツを，通行人がたまたま興味を持って閲覧する」といった，事前校正が難しいような状況における視線推定が可能になると考えられる．また，本成果を応用し，映像を閲覧する多数人の視線データを簡易に集めることができれば，そのデータはさまざまなコンテンツ閲覧支援に繋がることが期待される．たとえば，映像を構成する複数ショット（部分時区間）のそれぞれについて，複数人の注視対象がどの程度一致するかを計測することで，映像の重要区間だけを抽出し要約することが可能になる．
また，本年度は視線推定アルゴリズム自体は既存のアプローチを利用した．これに対して，当初の課題に挙げた，目領域における映像中の顕著領域の映り込みを利用した視線推定アルゴリズムについても，引き続き検討を行う．
|
| Causes of Carryover |
当初計画していた被験者実験および国際会議での発表を行うことができなかったため．
|
| Expenditure Plan for Carryover Budget |
H28年度5月より関連国際会議に調査出張を行うとともに，本成果を国際会議で公表するための追加実験および執筆を行う予定である．
|
