| 研究課題/領域番号 |
19K04293
|
|---|
| 研究機関 | 静岡大学 |
|---|
研究代表者 |
福元 清剛 静岡大学, 工学部, 助教 (60600129)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 瞳孔 / 鼻孔 / 口領域 / 注視点検出 / 顔方向 / 口唇 / スマートフォン / ディープラーニング |
|---|
| 研究実績の概要 |
本研究では，スマートフォンやタブレットなどの小型デバイスで使用可能なロバストで非接触の視線・頭部方向検出技術および読唇技術（発話時の口唇の形状から，発話内容を読み取る）を開発し，最終的にこれらの技術を実装した装置の試作を行う．これらの技術が開発されれば，視線や頭部のジェスチャーのみでの小型デバイスの操作や視線情報の広告業界での活用，声を出すことができない環境において唇の動きだけで文字の入力が可能といった用途が期待できる．本研究を達成するために，これまでに我々が開発してきた瞳孔および鼻孔検出技術を応用し，視線および頭部方向を検出する必要がある．また，瞳孔・鼻孔との相対的な位置関係から口の領域を検出し，口唇の変化を検出することで，発話内容を取得することを試みる．
本研究を実現するにあたり，まずカメラ画像中のユーザの瞳孔を検出し，その位置に基づいて鼻孔や口領域を検出することが基本となる．そこで当該年度は，これまでに本研究室で開発してきた瞳孔と鼻孔の検出技術を応用し，検出した左右の瞳孔と鼻孔中点を基準として，顔方向と口領域をそれぞれ求めた．今後，口唇の動きを安定して取得するために，口領域を常に正面から見たような画像に変換する必要があるため，設定する口領域の大きさや位置の最適化について検討した．また，スマートフォンやタブレットで瞳孔検出を行うために，小型デバイスに搭載可能な小型カメラを選定し，それに取り付けられる小型の近赤外ＬＥＤ光源を開発した．さらに，今後，口唇の動きからの発話内容の取得や瞳孔検出のロバスト性を向上に必要な技術のひとつとしてディープラーニングが考えられるため，ディープラーニングを試験的に導入し，瞳孔検出に利用可能かを試みた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
顔方向と口領域をそれぞれ検出するため，近赤外領域に感度を持つ白黒カメラと近赤外ＬＥＤ光源などから構成した光学系２台を用いて瞳孔と鼻孔の三次元座標をそれぞれ検出した．三次元空間において，左右の瞳孔と鼻孔の中点が成す平面を定義し，その平面の法線ベクトルから顔方向を求めた．また，瞳孔と鼻孔の相対的な位置関係から口領域の三次元座標を取得し，射影変換を用いてあたかも正面から見たような正面口領域画像を作成した．これは，口唇の大きさや観察される角度を常に一定化することで，口唇の動きや変化を容易に解析可能になることを期待したためである．また，口唇は前方に突出した形状をしているため，長方形の口領域だけでなく，円柱状の口領域を設定した．そして，口領域の奥行方向の位置や円柱状の口領域の曲率を変化させ，最も口唇を検出しやすい条件を検討した．
小型デバイスでの瞳孔検出を可能にするため，スマートフォンのモックアップに対して取り付け可能な小型カメラを選定し，このカメラに合わせた小型ＬＥＤ光源を開発した．当初の計画では，小型デバイスの上部にカメラや光源を設置する予定であったが，ユーザが眼鏡をしていた場合，眼鏡反射（光源の光が眼鏡のレンズやフレームで反射した像）が瞳孔像に重畳し，瞳孔を検出できなくなる可能性があったため，スマートフォンを持つユーザから見て，スマートフォンの角度的に離れた下側にカメラと光源を設置した．撮影した明・暗瞳孔画像を本研究室の瞳孔検出プログラムで解析した結果，正しく瞳孔が検出できたため，作成した光学系で鼻孔や口領域，視線の検出も可能であると考えられる．
将来的に音声認識や瞳孔検出のロバスト性向上に利用できる可能性がある技術のひとつとして，ディープラーニングが挙げられる．そこで，より安定した瞳孔検出を実現するためにディープラーニングを試験的に導入し，瞳孔検出時に利用できないかを検討した．
|
| 今後の研究の推進方策 |
これまでの研究で，瞳孔と鼻孔を基準として顔方向や口領域を検出した．また，口領域の奥行方向の位置や円柱状口領域の曲率について検討した．しかし，これらの設定値は任意に定めており，各ユーザに合った最適値ではないと考えられる．そこで，ユーザの口唇の大きさや形状を自動的に計測し，ユーザ毎の最適な口領域を設定することを試みる．また，正面口領域画像を取得できたため，画像差分やトラッキングなどで口唇の動きや変化を求め，実際の発話内容と一対一対応させることで読唇を可能とする手法を開発する．この際，試験的に導入したディープラーニングで口唇の形状や動き，発話内容，音声などを関連付けて学習させることで，読唇技術に活用できるのではないかと考えている．また，既存の音声認識ソフトウェアや，口唇からの発話解析アルゴリズムなどを利用することも考慮する必要がある．鼻孔の検出において，ユーザがカメラに対して顔を左右方向に向けた際に，鼻孔が隠れることでカメラ画像に映らなくなり，口領域の検出位置がぶれることがあった．このため，鼻孔や瞳孔をより安定して検出し続けるためのアルゴリズムを導入する．
小型デバイスへの実装では，スマートフォンのモックアップ用に選定したカメラと開発した近赤外ＬＥＤ光源を用いて，瞳孔検出が可能であることを確かめた．本研究では，蛍光灯下の室内で実験を行ったが，太陽光が顔に照射されているような高照度環境下でも瞳孔検出が可能かを確かめる．また，瞳孔の三次元座標を検出するため，２台の光学系を用いたステレオカメラにする必要がある．さらに，注視点検出に必要な角膜反射（光源の光が角膜上で反射した像）を検出するための光源の形状や発光方法を考案する．そして，上述した顔方向や口領域検出ならびに読唇技術，注視点検出技術を小型デバイス用のＯＳに組み込んでいく予定である．
|
