2019 Fiscal Year Research-status Report
USBカメラによる顔の動き数値化と数値処理教材の開発
| Project/Area Number |
19K03178
|
|---|
| Research Institution | Gifu Shotoku Gakuen University |
|---|
Principal Investigator |
伊藤 敏 岐阜聖徳学園大学, 経済情報学部, 教授 (80130946)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鷲野 嘉映 岐阜聖徳学園大学, 看護学部, 教授 (90220855)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 科学教育 / 可視化 / 顔検出 / 顔の特徴点 / 顔の動き / 慣性センサ |
|---|
| Outline of Annual Research Achievements |
学習者が自分自身の行動を数値データとして取得して、数値処理をすることが可能になる教材作成を目的とした。最近のスマートフォンなどは顔認証でログインするなど高度な技術が使われている。一方でそれらの技術はブラックボックスになり、原理や仕組みが見えにくくなっている。高度情報化社会においては、基本的な原理を見失うこと無く技術を利用する力が求められている。
そこで、「顔の動き」を解析対称とした数値処理教材の作成を目的とした。2019年度は機械学習による顔の検出、顔の特徴点の座標抽出を取得する技術的方法の利用を試みた。顔検出および特徴点座標の取得は機械学習済みのモデルdlibライブラリを用いて、普及率が一番高いWindows環境上で、Pythonを利用して実施できるようにした。
USBカメラを前にして顔の基本的動きである a) 左右動 b) 上下動 c) 傾け を行い、取得された動画から顔の検出および顔の特徴点座標を取得した。得られた特徴点座標が顔の動きを正しく反映しているかを確かめるため、慣性センサを用いた。
頭頂部に慣性センサを取り付け、加速度と角速度に加え、四次元量quaternionを取得した。慣性センサは、顔の動きの a) 左右動をyawに b)上下動をpitchに c)傾けをrollに対応づける様に配置をした。USBカメラからの顔特徴点座標取得と同時に顔の動きを計測した。これらにより、dlibでの顔の座標取得が正しく行われ、かつ顔の動きを解析することが可能で事を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2019年度は機械学習による顔の検出、顔の特徴点の座標抽出を取得する技術的方法としてdlibライブラリを用いる方法を試みた。USBカメラを前にして顔の基本的動きである a) 左右動 b) 上下動 c) 傾け を行い、取得された30fpsの動画から顔の検出および顔の特徴点座標を取得した。
頭頂部に慣性センサを取り付け、同時計測により、顔の特徴点座標から、鼻の頂点、両目尻と慣性センサからのyaw, pitch, rollの対応を検討した。その結果、a)左右動は鼻の頂点x座標の変化で示され、b)上下動は鼻の頂点y座標の変化で示され、c)傾けは両目尻のy座標値の差で示されることが確かめられた。これらより、USBカメラによる動画からdlibライブラリを用いた顔の特徴点座標抽出は正しく行えることを確かめられた。この成果は2019年9月開催の教育システム情報学会第44回全国大会で報告をした。さらに、顔の座標から顔の三次元の向き推定が可能であるかの検討を行い、各種制限があるが可能であることを示した。この検討の結果は2019年9月開催の国際コンファレンス（ミャンマーにて、IEEE後援）にて発表をした。さらに慣性センサからの向きデータ取得に関して2019年10月開催のISEE2019（ベトナムで開催）にて発表をした。
これらの実験より、顔の特徴点として鼻の頂点、両目尻の座標は正面画像で取得でき、日常的な動きの範囲内での横向き，上下向きでも正しく検出可能であることが確かめられた。教材としての利用にこれら3点の利用が有効であることが示された。
|
| Strategy for Future Research Activity |
顔の検出と座標の取得の技術的方法は確立をしたので、その方法を実践する環境を幅広く提供する目的で、解析環境をUSBメモリースティックに作成し、Windows PCに挿入するだけで、学習環境の構築が出来るようにする。
鼻の頂点、両目尻の座標は同一人物であれば、固定しているため、3点で形成される三角形の向きや面積から、顔の向きや顔とカメラの距離を推定する教材へと発展させる。また、本教材は題材として「顔」を用いることから、セキュリティの立場で、動画は保存しない仕様にし、解析に用いる画像は座標取得後、線画(境界検出2値画像)として保存する仕様にする。これは、解析経過をたどることが可能なようにするためである。
これらの環境を用いて顔の向きや顔とUSBカメラの距離推定などの課題に関してパイロット実験を行い、教材としてのドキュメント作成などを行う。
|
| Causes of Carryover |
当面の開発の主点を、顔の検出と特徴点の抽出に置き、動画の解析をするのに必要な処理速度の向上を目指さなかった。その為、当初購入予定していた高性能開発用のコンピュータの代わりに既存のコンピュータを用いた。これにより、次年度使用額(B-A)がゼロより大きくなった。しかし、顔検出と特徴点の抽出法は確立させることが出来て、研究はほぼ予定通り進めることが出来た。次年度は、動画解析の速度向上を要するため、高性能コンピュータの購入に本補助金を使用する。
|
Research Products
(3 results)
