| 研究課題/領域番号 |
19K04293
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分20020:ロボティクスおよび知能機械システム関連
|
|---|
| 研究機関 | 静岡大学 |
|---|
研究代表者 |
福元 清剛 静岡大学, 工学部, 助教 (60600129)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2019年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
|
|---|
| キーワード | 瞳孔 / 鼻孔 / 口領域 / 視線検出 / 顔方向 / 口唇 / 小型デバイス / 発話解析 / ディープラーニング / スマートフォン / 注視点検出 / 視線 / 頭部方向 / 読唇 |
|---|
| 研究開始時の研究の概要 |
本研究では，小型デバイスで使用可能なロバストで非接触な視線・頭部方向検出技術および読唇技術の開発，これを実装した装置の試作を行う．これらの技術により，視線や頭部ジェスチャーのみでのデバイス操作や，唇の動きのみでの文字入力が可能となる．視線および頭部方向の検出は，これまで我々が開発してきた瞳孔・鼻孔検出技術を応用する．また，瞳孔・鼻孔との相対的な位置関係から口の領域を検出し，発話内容を取得する．瞳孔・鼻孔検出技術は，ユーザの頭部移動を許容し，暗所や高照度下での検出も可能であるため，この技術に基づく視線・頭部方向検出や読唇技術は，さまざまな照明環境下での使用が想定される小型デバイスに適している．
|
| 研究成果の概要 |
本研究では，小型デバイスで使用可能な視線・頭部方向検出技術および読唇技術の開発を試みた．２台のモノクロカメラの画像中からユーザの瞳孔と鼻孔の３次元座標を検出し，これらの相対的な位置関係から，視線，頭部方向および各ユーザに最適な口領域を検出した．ユーザが横を向いた状態の画像を使用して母音を分類した場合，口領域画像を正規化した際に分類精度が最も高かった．ＣＮＮを導入することで，目を閉じたユーザが頭部を動かした場合でも，閉眼時の瞳孔位置を推定することが可能となった．小型デバイスへの実装では，スマートフォンのモックアップに貼付した小型ディスプレイ上において，ユーザの注視点を検出することが可能となった．
|
| 研究成果の学術的意義や社会的意義 |
本研究では，開発した技術の小型デバイスへの実装までには至らなかったが，本技術が使用されれば，料理をしながら，化粧をしながらとった小型デバイスの「ながら操作」が可能となる．また，頭部方向検出による「頭部ジェスチャー」も可能になるため，視線と組み合わせた多種多様な操作が期待できる．読唇技術では，公共施設やバス，電車など，雑音により音声認識が困難な場所や，会議や講演会といった静寂さを求められる環境などにおける「サイレント音声認識」が可能になり，発話することなく，文字入力が可能となるため，より利便性の向上が図れる．
|
