無意識に自動キャリブレーションされる視線計測装置の開発

Research Project

Project/Area Number	22K21317
Research Category	Grant-in-Aid for Research Activity Start-up
Allocation Type	Multi-year Fund
Review Section	1002:Human informatics, applied informatics and related fields
Research Institution	Osaka Seikei University (2023) Kwansei Gakuin University (2022)
Principal Investigator	廣江葵大阪成蹊大学, データサイエンス学部, 助教 (40963228)
Project Period (FY)	2022-08-31 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000) Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000) Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	視線計測 / ヒューマンインタフェース / キャリブレーション / 顕著性マップ / コンピュータビジョン
Outline of Research at the Start	視線計測技術は次世代のヒューマンインタフェースに利用できる技術として注目を集めている。しかし、使用前にユーザ毎に場所が既知である数点を注視する校正作業(キャリブレーション)が必要であり、すぐに計測開始できない問題があった。研究代表者はこれまでに、顕著性マップ(人の視線の集まる場所を推定したもの)を用いて視軸の位置を推定することでキャリブレーションを行う手法を提案し、自動キャリブレーションを実現したが、推定精度の向上や推定時間の短縮の課題が残されている。本研究では高速で高精度の自動キャリブレーション視線計測手法を確立するために3つのアプローチで課題解決に取り組む。
Outline of Annual Research Achievements	本研究では、視線計測装置のユーザごとに使用開始時に要求されるユーザキャリブレーションを視線推定精度を下げることなく自動化する手法の開発を目的としている。申請者はまずは、カメラ2台を用いた角膜球面モデルと言われる眼球モデルを使用した視線計測システムに対して、キャリブレーションの自動化を試みている。このシステムでは、画面上に表示された明示的な点をユーザが注視している際に、眼球の光軸と視軸(視線)のずれを求めることでキャリブレーションを行なっている。このキャリブレーションを自動化することで視線計測装置の応用範囲の拡大を図っている。研究開始時までの成果では、ユーザが見ていた画面上から注視していた可能性が高い場所を推定できる顕著性マップを作成し、さらに眼球の光軸周辺のみから注視対象を予測することで、明示的なキャリブレーションを行わずに眼球の光軸と視軸のずれを推定することを可能としていた。しかし、計測中の大量の画像データを平均化してパラメタを推定する必要があったため、計算コストが大きくなったり、時間がかる問題が残されていた。 1年目は眼球の光軸の運動を分析・分類し、速度や座標の変化からユーザが注視を行なっている時だけのデータを選別する手法を新たに提案し、視線推定精度を維持したまま、キャリブレーションに使用する顕著性マップの量を80％以上削減し、その成果を2023年3月インタラクション2023にて発表した。 2年目は、1年目の成果を2023年5月に開催された視線研究のトップカンファレンスである国際学会ETRA2023(Eye Tracking Research & Application)で発表した。これまでは注視対象に対したアプローチを行っていたが、眼球画像に対してのアプローチを考えるため、イベントカメラを用いた視線計測システムの開発を開始した。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason キャリブレーション無しで取得可能な眼球の光軸の動きのみから、眼球運動の種類を識別し、ユーザキャリブレーションに有効と思われる眼球運動を行っている時に閲覧している画面だけを計算に採用することでキャリブレーションにかかる計算コストを最大約80%削減可能とした。その研究成果を視線計測研究に関する国際学会(ETRA2023)で発表した。新たにイベントカメラを用いた視線計測システムを確立することで、低コスト高精度高速の視線計測を可能として、キャリブレーション精度を大幅に向上させることを模索し始めたため、大幅なシステム改修が必要となり、進捗がやや遅れている。
Strategy for Future Research Activity	イベントカメラを用いた視線計測システムを構築することで、低コスト高精度高速の視線計測システムを開発する。これにより眼球画像処理のコストを削減するとともに高速に眼球運動を分析することができるようになり、視線計測システムのキャリブレーションを効率化することを図る。また、本研究のカギとなる顕著性マップの生成について、LLMを応用したキャリブレーション特化の顕著性マップ生成モデルの構築も目指す。