2021 Fiscal Year Annual Research Report
小型デバイスのための瞳孔・鼻孔位置を用いた視線，頭部方向検出および読唇技術の開発
| Project/Area Number |
19K04293
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
福元 清剛 静岡大学, 工学部, 助教 (60600129)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 瞳孔 / 鼻孔 / 口領域 / 視線検出 / 顔方向 / 口唇 / 小型デバイス / ディープラーニング |
|---|
| Outline of Annual Research Achievements |
本研究では，スマートフォンやタブレットなどの小型デバイスで使用可能なロバストで非接触の視線・頭部方向検出技術および読唇技術を開発し，最終的にこれらの技術を実装した装置の試作を目標とした．
まず，口領域の検出について，本研究ではモノクロカメラの画像中からユーザの瞳孔と鼻孔の３次元座標を検出している．これらの３次元座標を基準とした相対的な位置関係から，口唇の形状に沿うように３次元空間に口領域を設定し，その領域から得られた画像からあたかも口を正面から撮影したような正規化口領域画像を生成した．この際，ヒトの口唇の大きさや形状には個人差があるため，口領域の設定パラメータを段階的に変化させ，ユーザ毎に適した口領域を設定できるようにした．また，ユーザが横を向いた状態で母音を発話させ，その際の口領域画像を正規化した場合とそうでない場合の画像を用いて母音の分類精度評価を行った．この結果，口領域画像を正規化した方が正規化しなかった場合よりも分類の高い正答率を得ることができた．
次に，瞳孔検出のロバスト性を向上させるためにＣＮＮを導入し，瞳孔が非検出となった場合での眼領域の検出を行った．目を閉じる前の瞳孔位置を基準として，閉眼時の目領域の画像とそれ以外の画像を自動取得し，ＣＮＮを用いた学習に基づいて閉眼画像の選定および閉眼瞳孔位置を決定した．この結果，目を閉じたユーザが頭部を動かした場合でも，閉眼時の瞳孔位置を推定することが可能となった．
最後に，小型デバイスへの実装において，注視点検出に使用する光源の近赤外ＬＥＤの個数を２個まで減らすことに成功し，光源全体を小型化することができた．また，スマートフォンのモックアップに貼付した小型ディスプレイ上において，ユーザの注視点を検出することが可能となった．
以上のことから，小型デバイスにおいての注視点検出や読唇を行う上での基礎的な技術を開発できたと考えられる．
|
