Development of Gaze and Head Direction Detection and Lip-Reading Technology Using Pupil and Nostril Positions for Small Devices
| Project/Area Number |
19K04293
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 20020:Robotics and intelligent system-related
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 瞳孔 / 鼻孔 / 口領域 / 視線検出 / 顔方向 / 口唇 / 小型デバイス / 発話解析 / ディープラーニング / スマートフォン / 注視点検出 / 視線 / 頭部方向 / 読唇 |
|---|
| Outline of Research at the Start |
本研究では，小型デバイスで使用可能なロバストで非接触な視線・頭部方向検出技術および読唇技術の開発，これを実装した装置の試作を行う．これらの技術により，視線や頭部ジェスチャーのみでのデバイス操作や，唇の動きのみでの文字入力が可能となる．視線および頭部方向の検出は，これまで我々が開発してきた瞳孔・鼻孔検出技術を応用する．また，瞳孔・鼻孔との相対的な位置関係から口の領域を検出し，発話内容を取得する．瞳孔・鼻孔検出技術は，ユーザの頭部移動を許容し，暗所や高照度下での検出も可能であるため，この技術に基づく視線・頭部方向検出や読唇技術は，さまざまな照明環境下での使用が想定される小型デバイスに適している．
|
| Outline of Final Research Achievements |
This study attempts to develop a technology for detecting gaze and head direction and lip reading that can be used in small devices. The three-dimensional coordinates of the users' pupils and nostrils were detected in images from two black-and-white cameras and the gaze and head direction and the optimal mouth area for each user were detected from the relative positions of the pupils and nostrils. The most accurate classification of vowels was achieved when the mouth region images were normalized using images of the users facing sideways. Introducing CNN enabled us to estimate the positions of the pupils when the users' eyes were closed, even when the users moved their heads. While implementing the system on a small device, it was possible to detect the users' gazing point on a small display attached to a smartphone mockup.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究では，開発した技術の小型デバイスへの実装までには至らなかったが，本技術が使用されれば，料理をしながら，化粧をしながらとった小型デバイスの「ながら操作」が可能となる．また，頭部方向検出による「頭部ジェスチャー」も可能になるため，視線と組み合わせた多種多様な操作が期待できる．読唇技術では，公共施設やバス，電車など，雑音により音声認識が困難な場所や，会議や講演会といった静寂さを求められる環境などにおける「サイレント音声認識」が可能になり，発話することなく，文字入力が可能となるため，より利便性の向上が図れる．
|
Report
(4 results)
Research Products
(12 results)
