測定条件に対して頑健な眼球運動測定手法の検討

Research Project

Project/Area Number	21K03143
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 10040:Experimental psychology-related
Research Institution	Ehime University
Principal Investigator	十河宏行愛媛大学, 法文学部, 教授 (90359795)
Project Period (FY)	2021-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000) Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000) Fiscal Year 2022: ¥130,000 (Direct Cost: ¥100,000、Indirect Cost: ¥30,000) Fiscal Year 2021: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Keywords	眼球運動 / アイトラッカー / オープンソース / eye tracker / web camera / eye tracking / video-based eyetracking
Outline of Research at the Start	ビデオ画像に基づいた視線計測にはさまざまな応用が期待されるが、測定装置が高価であることや扱いが難しいことなどから普及していない。webカメラ等の低価格のカメラを用いた場合、レンズの性能や解像度などの問題から眼球運動測定に十分な画質が得られないことが多い。本研究では、画質が高い時には高精度で、画質が低い場合でも画質に応じた精度で眼球運動を測定するソフトウェアの開発を目指す。
Outline of Annual Research Achievements	本年度の主要な成果は3つある。まず、すでに録画済みの動画から虹彩を検出して眼球運動を記録する「オフラインモード」を実装し、オフラインモードを実際に利用するために必要なキャリブレーションツールを作成した。このオフラインモードにより、動画の1フレームあたりの時間を大きく超える低速な光彩検出アルゴリズムを採用可能となったほか、タブレット機などの処理速度が十分でない端末による実験に対応可能となった。第2に、高速なセマンティックセグメンテーションネットワークであるENetを用いた虹彩検出コードを導入した。これにより虹彩検出精度が向上した。ENetによる検出はGPUによる支援のないIntel Core i7-11700搭載Window PCにおいて1フレームに数百ミリ秒が必要であり、オフラインモードでの使用を想定している。第3に、FaceGenを用いて顔の3Dモデルを用意し、顔モデルを左右方向にそれぞれ45度、上下方向にそれぞれ15度まで回転させた画像を作成して顔方向検出精度を評価する実験をおこなった。その結果、左右方向にそれぞれ20度の回転範囲内において、顔の回転方向を数度程度の誤差で推定可能なことが示された。左右方向にそれぞれ20度を超える回転範囲では、顔の特徴点の検出精度が低下し、その結果として十数度に及ぶ大きな誤差が生じることが示された。顔の3Dモデルを使用するこの評価方法は正確に顔方向を設定できる点において実際の人物の顔画像を使用するより優れており、本プロジェクトではこの方法を引き続き採用することとした。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 性能評価実験に使用する顔画像および目画像の提供者が集まっておらず、これらの画像を使用して行う計画であった作業が進められない状態にある。「研究実績の概要」で述べた顔の3Dモデルを用いる方法が頭部姿勢の測定精度の評価に非常に有効であったため、虹彩検出精度の評価および視線方向の測定精度精度の評価もこちらの方法に切り替えて研究を進めることとした。これらの評価実験のためのコードを新たに作成する必要があるため研究が遅れている。
Strategy for Future Research Activity	顔の3Dモデルを用いた評価方法により、顔の位置の測定精度および虹彩位置の測定精度を評価する実験を行う。dlibのアンサンブル回帰木による特徴点検出を利用して、ENetより高速な光彩検出アルゴリズムを実装し、測定精度評価実験をおこなう。開発したコードをGitHub上で公開し、実際の利用者からのフィードバックを受けて改善点を検討する。測定精度評価実験の結果を学会発表し、論文執筆に取り組む。