• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Localization using scene reflection on cornea

Research Project

Project/Area Number 21K19800
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionTokai University

Principal Investigator

Takemura Kentaro  東海大学, 情報理工学部, 教授 (30435440)

Co-Investigator(Kenkyū-buntansha) 長松 隆  神戸大学, 海事科学研究科, 教授 (80314251)
Project Period (FY) 2021-07-09 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2022: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2021: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Keywords視線計測 / 位置推定
Outline of Research at the Start

本研究は,角膜上に反射する環境の像を用いることで,環境を撮像するカメラ無しに自己位置を推定する手法の確立を目指す.頭部装着型の視線計測装置を,実空間で常時利用可能なインタフェースとして捉えると,眼カメラで視線方向を算出することに加えて,環境カメラで頭部の位置・姿勢を推定することが重要である.しかしながら,従来採用されてきたカメラ2つのシステム構成では,注視点の推定にキャリブレーションが必要である.そこで本研究課題は,角膜表面上に反射する環境像を用いて,注視対象及び位置,姿勢を推定することに挑戦する.

Outline of Final Research Achievements

Localization was challenged using the scene reflection on the cornea without a scene camera that takes an environmental view. A 3D environmental map was obtained using a 3D LiDAR in advance, and the virtual eye images were generated on each position and rotation. Virtual tangent-plane images were generated as undistorted images from the obtained virtual eye images by applying corneal imaging. The estimator was trained using the virtual tangent-plane images. In the estimation, tangent-plane images were input to the estimator, and Monte Carlo Localization was implemented with IMU to enable probabilistic estimation.

Academic Significance and Societal Importance of the Research Achievements

頭部装着型の視線計測装置は環境カメラによるプライバシーの侵害があると指摘され,視線計測装置の常時利用を進める上で大きな課題となっていた.これに対して本研究は,角膜に反射する限られた情報から注視対象の情報に加えて,ユーザの位置を推定することを達成した.環境カメラの無い視線計測装置の実現可能性を示した本研究の成果は,プライバシーの問題を解決し,装着型のカメラシステムの普及に貢献すると期待しており,その社会的意義は非常に大きい.

Report

(3 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • Research Products

    (7 results)

All 2023 2022 2021 Other

All Presentation (6 results) (of which Int'l Joint Research: 3 results) Remarks (1 results)

  • [Presentation] Cooperative Eye Tracking and Localization Based on Corneal Imaging2023

    • Author(s)
      Yuki Kanai and Kentaro Takemura
    • Organizer
      The 2023 IEEE/SICE International Symposium on System Integration
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 屋内照明の角膜反射像とIMUを用いた位置推定2022

    • Author(s)
      金井祐樹,竹村憲太郎
    • Organizer
      ロボティクスメカトロニクス講演会2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] Estimating Focused Pedestrian using Smooth-Pursuits Eye Movements and Point Cloud toward Assistive System for Wheelchair2021

    • Author(s)
      Yuto Ito and Kentaro Takemura
    • Organizer
      2021 IEEE International Conference on Systems, Man, and Cybernetics
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Eye Gaze Estimation using Imperceptible Marker Presented on High-Speed Display2021

    • Author(s)
      Kento Seida and Kentaro Takemura
    • Organizer
      The 13th ACM Symposium on Eye Tracking Research & Applications
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 視線計測装置と LiDAR 間の幾何的な拘束が不要な歩行者に対する注視判定手法2021

    • Author(s)
      伊藤雄仁,竹村憲太郎
    • Organizer
      第22回 計測自動制御学会 システムインテグレーション部門講演会
    • Related Report
      2021 Research-status Report
  • [Presentation] 高速液晶ディスプレイを用いた不可視な基準点の提示による注視点推定2021

    • Author(s)
      清田健登,竹村憲太郎
    • Organizer
      第22回 計測自動制御学会 システムインテグレーション部門講演会
    • Related Report
      2021 Research-status Report
  • [Remarks] 東海大学 情報理工学部 コンピュータ応用工学科 ヒューマンセンシング研究室

    • URL

      https://takemura-lab.org/wordpress/

    • Related Report
      2022 Annual Research Report

URL: 

Published: 2021-07-13   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi