2021 Fiscal Year Research-status Report
USBカメラによる顔の動き数値化と数値処理教材の開発
| Project/Area Number |
19K03178
|
|---|
| Research Institution | Gifu Shotoku Gakuen University |
|---|
Principal Investigator |
伊藤 敏 岐阜聖徳学園大学, 経済情報学部, 名誉教授 (80130946)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鷲野 嘉映 愛知みずほ短期大学, その他部局等, 教授(移行) (90220855)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 科学教育 / 顔検出 / 顔の特徴点 / 顔の動き |
|---|
| Outline of Annual Research Achievements |
学習者が自分自身の行動を数値データとして取得して、数値処理が可能になる教材作成を目的とした。2019年度で機械学習ライブライを用いて「顔の特徴点座標」を取得し、頭頂部につけた慣性センサと同時計測をすることで、「顔の動き」を正しくとらえていることを確かめた。2020年度は、2019年度に開発発表をしたシステムを用いて教材として利用可能な形で仮の運用を目指したが、COVID-19蔓延のため、対面を伴う実践的研究が困難になった。そこで、Windows環境で、USBメモリーを用いたPython環境を作成し、その環境でPythonのライブラリイdlibを用いた環境を作成し、Net経由で環境構築を含めて運用が可能なことを確かめた。
2021年度は、「顔の特徴点座標取得」に技術的力量を要求しないシステムとすることを目指し、開発環境としてjavascriptを加えた。Webページにアクセスをして、パソコンに接続されたUSBカメラからWebページ上の「シャッタボタン」を押すことで、学習者が指定した時点での静止画像表示し、表示された画像から「顔検出特徴点座標」を得て、テキストボックスへ座標値を出力することをすべてjavascriptで行った。これにより、指定されたWebページへカメラ付きパソコンでアクセスをすることで、学習者が指定した画像の「顔の特徴点座標」を数値として取得できるようにした。このシステムを運用することで、OVID-19の蔓延状況下でもWeb経由での教材作成が可能であると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
「顔の特徴点座標取得」の技術を対面授業で運用し、学習効果を検証する予定であった。得られた成果は、国際会議の査読に通ったが学会開催が中止になり現時点で国際会議論文として未発表である。
Python環境での運用は対面の場合、技術的サポートが可能であり、運用に大きな障害になることはない。予定したUSBメモリースティック学習環境構築も確立をした。しかし、対面授業が実施できなくなり、開発環境にjavascriptを追加した。この開発環境追加により、指定されたWebページへカメラ付きパソコンでアクセスをすることで、Webページ上に表示されたUSBカメラ画像から「シャッタボタン」を押すことで、学習者が指定した時点での静止画像表示し、表示された画像から「顔検出特徴点座標」を得て、テキストボックスへ座標値を出力することを可能にした。複数名の学習者に依頼をして、作成したシステムの検証を試み、散布図による顔の表示までは困難なく運用できることを確かめた。すなわち、技術的スキルを要求することなく「顔の特徴点座標」を取得して処理可能である環境を構築した。
システムに関してはmediapipeライブラリを追加することで、顔の特徴点検出に多様性を加えることができ、静止画像処理だけでなく、動画を利用した教材の開発も容易になった。
一方で、構築したシステムの有用性や学習者による検証が不十分である。また、学会などへ報告をし、様々な立場からの研究者のご検討をいただく機会も1回しかできなかった。多様なご意見を通じた検討がなされていないため、「やや遅れている」と評価した。
|
| Strategy for Future Research Activity |
今までは、USBカメラから得られる静止画像から「顔の特徴点座標値」を提供する環境をPythonおよびJavascriptで提供してきた。今後は、動画の解析が可能な環境にして、動画から得られた数値群から、顔の特徴点（鼻の頂点や両目尻）で構成される点の軌跡を用いた教材に発展させる。
動画から顔の動きを対象に加えることで「うなずき」、「否定」などの静止画では難しい、教材としての多様性と魅力を増すのに資すると考えられる。一方で、動画処理は大量のデータ処理が必要になるので、解析対象の動きを厳選し、かつ、処理部分はパッケージ化を試み、技術的な困難を避けながら魅力的な教材作成に努める。
これらの開発した環境を用いて、教材の作成をし、ドキュメントの提供をする。
また、構築したシステムに関し学会などで報告をして、研究者のご検討をいただく機会を作る。
|
| Causes of Carryover |
Pythonで構築した「顔の特徴点座標」数値出力システムの発表を予定していた国際会議が中止となり、予定していた旅費を使用しなかった。および国内での学会発表も、onlineでの実施になり、旅費を使用しなかった。これにより次年度使用額(B-A)がゼロより大きくなった。
一方で、当初の目的である「顔の特徴点座標」の数値出力システム構築はPythonおよびWeb上(javascript利用）で実現できている。しかし、COVID-19の状況から、構築したシステムの検証のために、規模の大きな実践活動はむつかしいと思われる。
今後は、静止画像の処理から、動画の処理へと開発を進める。そのため、顔の特徴点の軌跡を解析するために深層学習を必要とする。深層学習に適するコンピュータ環境を導入するために、本補助金を使用する。
|
Research Products
(1 results)
