ビデオベース視線検出アルゴリズムの開発・実装と教育工学への応用

2013 Fiscal Year Research-status Report

• Project/Area Number: 25560105
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 西原 明法 東京工業大学, 社会理工学研究科, 教授 (90114884)
• Project Period (FY): 2013-04-01 – 2015-03-31
• Keywords: 視線検出 / 眼球モデル

Research Abstract

顔画像の見え(appearance)のみによる視線推定を行う場合の問題点を整理し、瞼の開閉など、眼球部以外の見えが誤差の大きな原因であることを解明し、瞼の開閉検出を含めた視線検出アルゴリズムを開発し、評価した。
まず、顔を含む画像を撮影し、顔の特徴点を抽出して目の周辺領域を切り出す。次に、眼球の回転と瞼の開閉度をパラメータとしてもつモデルから生成したコンピュータグラフィック画像とのマッチングを行い、マッチングが最大となる時の眼球回転角を採用することで視線方向の推定を行う。マッチングの評価としては、ゼロ平均正規化相互相関が適していると考えている。
この方法を実装して実験した結果、目と同じ高さまたは下方の対象を注視するとき、瞼モデルの導入で精度が向上することがわかった。しかし、頭部を固定した実験で、視線角度推定誤差の平均が約5度とかなり大きく、また頭部を固定しない場合は13.7度と誤差がさらに大きくなった。
撮影条件により目周辺画像の明るさや色相などが大きく異なり、また特に頭部を固定しない場合は影などの影響も大きくなっているため、次年度はこれらを解決することを課題とする。また、視線推定時間の短縮も課題である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

完全受動のビデオベース視線推定の基本方式を検討し、実装、評価まで行った。精度の面で目標から未だ遠いが、目周辺画像の前処理、瞼モデルと眼球回転モデルの分離、等により精度向上が図れるものと考えている。

Strategy for Future Research Activity

平成27年度は、前年度に開発した基本アルゴリズムを再検討し、もし必要があれば改良を加える。また、精度向上のために、顔周辺画像を前処理し、明度、色相などの影響を極力取り除く。また影等が映り込む可能性もあるので、それを排除する方策も考える。またこれまでは瞼開閉モデルと眼球回転モデルを同時に考慮していたが、それを分離することにより、精度と処理時間の両方を向上できるのではないかと考えている。これらを検討、実装し、本研究の完成を目指す。