Calibration-free Input Interface Using Eye-gaze and blink

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K12801
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 90150:Medical assistive technology-related
• Research Institution: Tokyo Denki University
• Principal Investigator: Abe Kiyohiko 東京電機大学, システムデザイン工学部, 教授 (40408646)
• Co-Investigator(Kenkyū-buntansha): 佐藤 寛修 関東学院大学, 理工学部, 助手 (90813741) ; 松野 省吾 群馬大学, 情報学部, 助教 (60836245)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 視線入力 / キャリブレーションフリー / 畳み込みニューラルネットワーク / 視線計測 / 瞬目計測 / コミュニケーション支援

Outline of Final Research Achievements

Eye-gaze input interface is able to operate a PC using information from the user's gaze or blinking of the eye. Therefore, it is used to support communication for people who have difficulty using general input interfaces, such as people with severe physical disabilities.
Most conventional eye-gaze input interfaces require calibration for each user before use, which is cumbersome. In this research, by using a convolutional neural network (CNN), which is a method of image identification, we have developed a new method to input text into a PC and operate a Web browser by capturing information on eye gaze and eye blinks in real time from a user's near-eye image captured by an in-camera camera of a notebook PC. A new calibration-free gaze input interface has been developed.

Free Research Field

福祉工学，ヒューマンインタフェース，ソフトウェア工学

Academic Significance and Societal Importance of the Research Achievements

本研究課題で開発した新しい視線入力インタフェースは、キャリブレーションフリーであり、利用に際してユーザごとの較正を一切必要としないため、使用したいときにすぐに使うことができる。またこの視線入力インタフェースは、廉価なノートパソコンのみで使用が可能であり、視線と瞬目の情報のみで文字入力を行ったりWebブラウザを操作するなど、重度肢体不自由者のコミュニケーション支援に利用できる。