Gaze Estimator Domain Adaptation Based on Data Generation Through Face Shape Reconstruction and Self-Supervised Auxiliary Tasks

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K11932
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: The University of Tokyo
• Principal Investigator: Sugano Yusuke 東京大学, 生産技術研究所, 准教授 (10593585)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 視線推定 / 機械学習 / ドメイン適応

Outline of Final Research Achievements

In this study, we combined a data generation method based on 3D face shape reconstruction with a domain adaptation technique using feature separation to develop a robust gaze estimation model that operates effectively in unknown environments. By reconstructing face shapes from monocular images and rendering them in various orientations, we enhanced the diversity of the training data. Unsupervised domain adaptation was employed to bridge the gap between generated data and real data. Additionally, we developed an appearance-based gaze estimation model using multi-camera input, achieving high generalization performance through feature transformation and fusion based on the relative orientation between cameras.

Free Research Field

コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

本研究の学術的意義は、顔形状の3次元復元とドメイン適応を組み合わせた新しい視線推定手法を提案し、未知の環境でも高い精度を実現したことにある。また、任意の複数カメラを用いて視線推定を行うことのできる手法には前例がなく、カメラの位置関係を拘束条件として用いる特徴融合は他の課題にも応用できる可能性がある。
提案手法により、多様な姿勢や環境での視線推定が可能となり、自然なインタラクションを必要とする様々なアプリケーションに活用できる。例えば、対話システムやデジタルサイネージ、自動車の運転支援など、ユーザの視線情報を用いることで、よりシームレスで直感的なインターフェースの実現が期待できる。