• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

High accuracy gaze estimation method with runtime calibration, and its appication

Research Project

Project/Area Number 16H02860
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Research Field Human interface and interaction
Research InstitutionKobe University

Principal Investigator

Takashi Nagamatsu  神戸大学, 海事科学研究科, 准教授 (80314251)

Co-Investigator(Kenkyū-buntansha) 竹村 憲太郎  東海大学, 情報理工学部, 准教授 (30435440)
鎌原 淳三  神戸大学, 海事科学研究科, 准教授 (60283917)
山本 倫也  関西学院大学, 理工学部, 教授 (60347606)
田中 直樹  神戸大学, 海事科学研究科, 教授 (90188318)
Project Period (FY) 2016-04-01 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥15,990,000 (Direct Cost: ¥12,300,000、Indirect Cost: ¥3,690,000)
Fiscal Year 2019: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2018: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Fiscal Year 2017: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2016: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Keywordsユーザインタフェース / 視線計測 / ユーザインターフェース
Outline of Final Research Achievements

It is expected that the research and development of the human interface using the gaze will progress rapidly in the future. However, the user still needs to perform calibration in which the user gazes at several points before using the device, which limits the range of application of gaze tracking.
In this study, we concluded that there is a limitation of run-time calibration by a method based on the geometrical constraints. Then, searching for a new method, we propose a run-time calibration method using screen information. As the screen information, a saliency map and face area extraction were used. As a result, it was suggested that the method using face area extraction could be used for user calibration with high accuracy than that using saliency map.

Academic Significance and Societal Importance of the Research Achievements

学術的な意義は、これまで難しいとされていた、ランタイムキャリブレーションによる高精度視線計測が、注視対象物の制約はあるが、可能となったことである。
これにより、様々な社会的な意義がある。例えば、心理学の実験において、被験者に意識させない自然な状態でデータ収録ができるようになる。これにより、拘束時間が減少し、コスト削減が可能である。さらに、乳幼児や動物の計測も容易になる。また、博物館等で展示物との自由なインタラクションが実現できる。手の届かない/触ってはいけない展示物とのインタラクションも可能となる。また、店舗、自動販売機、広告等での、注目度の解析等にも利用可能である。

Report

(5 results)
  • 2019 Annual Research Report   Final Research Report ( PDF )
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • 2016 Annual Research Report
  • Research Products

    (36 results)

All 2019 2018 2017 2016

All Journal Article (2 results) (of which Peer Reviewed: 1 results) Presentation (32 results) (of which Int'l Joint Research: 13 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] RGB-IRカメラを用いたハイブリッドな瞳孔・虹彩同時追跡2019

    • Author(s)
      山岸健太,竹村憲太郎
    • Journal Title

      計測自動制御学会論文集

      Volume: 55(8) Pages: 491-498

    • NAID

      130007689476

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 舶用レーダにおける映像特徴に基づいた ターゲット抽出方式2017

    • Author(s)
      田中直樹,岡本章裕,中田裕一,廣野康平
    • Journal Title

      画像ラボ

      Volume: 28(9) Pages: 21-28

    • Related Report
      2017 Annual Research Report
  • [Presentation] Corneal-Reflection-based Wide Range Gaze Tracking for a Car2019

    • Author(s)
      Takashi Nagamatsu, Mamoru Hiroe, and Gerhard Rigoll
    • Organizer
      HCI International 2019 (HCII 2019)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Implicit User Calibration for Model-based Gaze-tracking System using Face Detection around Optical Axis of Eye2019

    • Author(s)
      Mamoru Hiroe, Shogo Mitsunaga, Takashi Nagamatsu
    • Organizer
      Extended abstracts on Human factors in computing systems (CHI 2019)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Cross-Ratio Based Gaze Estimation for Multiple Displays using a Polarization Camera2019

    • Author(s)
      Masato Sasaki, Takashi Nagamatsu, and Kentaro Takemura
    • Organizer
      The Adjunct Publication of the 32nd Annual Symposium on User Interface Software and Technology (UIST2019)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Screen corner detection using polarization camera for cross-ratio based gaze estimation2019

    • Author(s)
      Masato Sasaki, Takashi Nagamatsu, and Kentaro Takemura,
    • Organizer
      in Proceedings of the 11th ACM Symposium on Eye Tracking Research & Applications (ETRA2019)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Hybrid Method for Remote Eye Tracking using RGB-IR Camera2019

    • Author(s)
      Kenta Yamagishi and Kentaro Takemura
    • Organizer
      in Proceedings of the 14th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 偏光カメラを用いた Cross-Ratio Method による注視点推定2019

    • Author(s)
      佐々木政人,長松隆,竹村憲太郎
    • Organizer
      第20回 計測自動制御学会 システムインテグレーション部門講演会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 偏光カメラシステムによるディスプレイ反射領域検出を用いた可視光Cross-Ratio Method2019

    • Author(s)
      佐々木 政人, 長松 隆, 竹村 憲太郎
    • Organizer
      ロボティクス・メカトロニクス講演会講演概要集 2019
    • Related Report
      2019 Annual Research Report
  • [Presentation] A Hybrid Method for Remote Eye Tracking using RGB-IR Camera2019

    • Author(s)
      Kenta Yamagishi and Kentaro Takemura
    • Organizer
      The 14th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Corneal-Reflection-based Wide Range Gaze Tracking for a Car2019

    • Author(s)
      Takashi Nagamatsu, Mamoru Hiroe, and Gerhard Rigoll
    • Organizer
      HCI International 2019
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Implicit User Calibration for Model-based Gaze-tracking System using Face Detection around Optical Axis of Eye2019

    • Author(s)
      Mamoru Hiroe, Shogo Mitsunaga, Takashi Nagamatsu
    • Organizer
      Human factors in computing systems (CHI 2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 角膜反射の限界点に着目した視線計測におけるカメラと光源の移動可能範囲の導出2019

    • Author(s)
      横田杏里,山本倫也,廣江 葵,長松 隆
    • Organizer
      情報処理学会第81回全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 3次元顔モデルを用いた非装着型角膜イメージング法2018

    • Author(s)
      宇都貴将,竹村憲太郎
    • Organizer
      第19回 計測自動制御学会 システムインテグレーション部門講演会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Modeling corneal reflection for eye-tracking considering eyelid occlusion2018

    • Author(s)
      Michiya Yamamoto, Hirofumi Sakiyama, Satoshi Fukumori, Takashi Nagamatsu
    • Organizer
      The 2018 ACM Symposium on Eye Tracking Research & Applications (ETRA2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Implicit user calibration for gaze-tracking systems using an averaged saliency map around the optical axis of the eye2018

    • Author(s)
      Mamoru Hiroe, Michiya Yamamoto, Takashi Nagamatsu
    • Organizer
      The 2018 ACM Symposium on Eye Tracking Research & Applications (ETRA2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] モデルベース視線計測手法における特徴点抽出のずれが眼球の光軸の推定値に及ぼす影響2018

    • Author(s)
      満永 彰吾、丸山 拓朗、廣江 葵、長松 隆
    • Organizer
      ヒューマンインタフェースシンポジウム2018
    • Related Report
      2018 Annual Research Report
  • [Presentation] 瞼の影響を考慮した視線計測のための角膜反射領域のモデル化2018

    • Author(s)
      松尾 良磨, 山本 倫也, 長松 隆
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 低品質新聞画像における多手法による適応的なOCR 認識精度向上に関する研究2018

    • Author(s)
      小谷匡史,中田祐一,田中直樹
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] User Calibration-free Method using Corneal Surface Image for Eye Tracking2017

    • Author(s)
      Sara Suda, Kenta Yamagishi, and Kentaro Takemura
    • Organizer
      The 12th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
    • Place of Presentation
      ポルト(ポルトガル)
    • Year and Date
      2017-02-27
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Study on Extracting Attractive Regions from One-Point Perspective Paintings2017

    • Author(s)
      Ryoma Matsuo, Haruka Sugimoto, Mamiko Sakata, and Michiya Yamamoto
    • Organizer
      HCI 2017 International
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 笑いの表情に対応した視線計測のための基礎的検討2017

    • Author(s)
      松尾 良磨, 福森 聡, 山本 倫也, 長松 隆
    • Organizer
      日本顔学会誌
    • Related Report
      2017 Annual Research Report
  • [Presentation] メディアとしての身体動作を活かすヒューマンインタフェース技術2017

    • Author(s)
      山本 倫也
    • Organizer
      電子情報通信学会第59回ヴァーバル・ノンヴァーバル・コミュニケーション研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 身体動作をメディアとするヒューマンインタフェース技術2017

    • Author(s)
      山本 倫也
    • Organizer
      HCD-Net関西フォーラム 2017
    • Related Report
      2017 Annual Research Report
  • [Presentation] A hybrid eye-tracking method using multispectral camera2017

    • Author(s)
      Kenta Yamagishi, and Kentaro Takemura
    • Organizer
      2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] RGB-IRカメラを用いた瞳孔・虹彩同時追跡 -極座標変換を用いた虹彩の自動検出-2017

    • Author(s)
      山岸健太,竹村憲太郎
    • Organizer
      第18回 計測自動制御学会 システムインテグレーション部門講演会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 非装着型角膜イメージング法のための3次元眼球モデルを用いた虹彩追跡2017

    • Author(s)
      須藤美和,山岸健太,竹村憲太郎
    • Organizer
      第18回 計測自動制御学会 システムインテグレーション部門講演会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 眼球回旋点の移動を考慮した瞳孔・虹彩同時追跡2017

    • Author(s)
      山岸健太,竹村憲太郎
    • Organizer
      The 23rd Symposium on Sensing via Image Information(SSII2017)
    • Related Report
      2017 Annual Research Report
  • [Presentation] 3次元眼球モデルを用いたCross-Ratio Methodによる注視点推定2017

    • Author(s)
      品川慶樹,山岸健太,須田沙良,竹村憲太郎
    • Organizer
      ロボティクスメカトロニクス講演会2017
    • Related Report
      2017 Annual Research Report
  • [Presentation] 車用広範囲視線計測装置に関する研究2016

    • Author(s)
      廣江 葵, 長松 隆, Gerhard Rigoll
    • Organizer
      ヒューマンインタフェースシンポジウム2016
    • Place of Presentation
      東京農工大学(東京都・小金井市)
    • Year and Date
      2016-09-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] 眼球の光軸中心回転体モデルに基づく視線計測手法による強膜反射時の視線推定2016

    • Author(s)
      荒井 悠, 亀山 真由子, 長松 隆, 山本 倫也
    • Organizer
      ヒューマンインタフェースシンポジウム2016
    • Place of Presentation
      東京農工大学(東京都・小金井市)
    • Year and Date
      2016-09-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] 光軸と視軸のズレの個人差を利用する本人認証システムの開発2016

    • Author(s)
      酒井 大貴, 山本 倫也, 長松 隆, 福森 聡
    • Organizer
      ヒューマンインタフェースシンポジウム2016
    • Place of Presentation
      東京農工大学(東京都・小金井市)
    • Year and Date
      2016-09-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] 2CCDカメラを用いた瞳孔・虹彩同時追跡2016

    • Author(s)
      山岸健太,竹村憲太郎
    • Organizer
      ロボティクスメカトロニクス講演会2016
    • Place of Presentation
      パシフィコ横浜(神奈川県・横浜市)
    • Year and Date
      2016-06-08
    • Related Report
      2016 Annual Research Report
  • [Presentation] 笑いの表情に対応した視線計測のためのgaze cone の計測2016

    • Author(s)
      松尾良磨 酒井大貴 福森聡 山本倫也 長松隆
    • Organizer
      第131回ヒューマンインタフェース学会研究会「コミュニケーション支援および一般(SIG-CE-13)」
    • Place of Presentation
      沖縄産業支援センター(沖縄県・那覇市)
    • Year and Date
      2016-05-18
    • Related Report
      2016 Annual Research Report
  • [Patent(Industrial Property Rights)] 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム2018

    • Inventor(s)
      長松 隆, 廣江 葵, 山本倫也
    • Industrial Property Rights Holder
      長松 隆, 廣江 葵, 山本倫也
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2018-112372
    • Filing Date
      2018
    • Related Report
      2018 Annual Research Report
  • [Patent(Industrial Property Rights)] 特許権2017

    • Inventor(s)
      長松 隆
    • Industrial Property Rights Holder
      神戸大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2017-019978
    • Filing Date
      2017-02-06
    • Related Report
      2016 Annual Research Report

URL: 

Published: 2016-04-21   Modified: 2021-02-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi