2022 Fiscal Year Research-status Report
USBカメラによる顔の動き数値化と数値処理教材の開発
| Project/Area Number |
19K03178
|
|---|
| Research Institution | Gifu Shotoku Gakuen University |
|---|
Principal Investigator |
伊藤 敏 岐阜聖徳学園大学, 経済情報学部, 名誉教授 (80130946)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鷲野 嘉映 愛知みずほ短期大学, その他部局等, 教授(移行) (90220855)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 科学教育 / 顔検出 / 顔の特徴点 / 顔の動作推定 |
|---|
| Outline of Annual Research Achievements |
学習者が自分自身の顔行動を数値データとして取得して、数値処理が可能になる教材作成を目的とした。さらに昨今の「機械学習ブーム」を鑑みて、学習者自身がモデル構築を試みる可能性を検討した。2019年度で機械学習ライブライを用いてUSBカメラから得られた動画から「顔の特徴点座標」を取得し、頭頂部につけた慣性センサと同時計測をすることで、「顔の動き」を正しくとらえていることを確かめた。2020年度は、2019年度に開発発表をしたシステムの運用を目指したが、COVID-19蔓延のため、対面を伴う実践的研究が困難になった。そこで、Windows環境で、USBメモリーを用いたPython環境を作成し、その環境で、Net経由で環境構築を含めて運用が可能なことを確かめた。2021年度は、「顔の特徴点座標取得」の開発環境としてjavascriptを加えた。Webページにアクセスをして、学習者が指定した画像の「顔の特徴点座標」を数値として取得できるようにした。このシステムを運用することで、COVID-19の蔓延状況下でもWeb経由での教材作成が可能になった。
2022年度は顔の動きの軌跡を取得し、動きを推定するモデルを構築することを試みた。2019年度から2021年度の研究で得られた知見や環境をもとに、顔の特徴点として両目尻と鼻頭の3点を選び、多層パーセプトロンを用いてモデルを構築した。「会話」中の動作として「うなずき（顔の上下動）」、「否定（左右動）」などの動作を推定することを試みた。モデル構築には、学習データとして数分間の各動作の動画を用いた。モデルは目視による結果と良い一致を得ることを確かめた。単純な動作推定モデル作成には、大量のデータではなくともモデル構築が可能であることを示すことで、現在話題になっている「機械学習モデル」を学習者自身が構築して推定する学習教材への発展させる可能性を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
「顔の特徴点座標取得」をPython環境で運用の場合、技術的サポートが可能であり、運用に大きな障害になることはない。予定したUSBメモリースティック学習環境構築も確立をした。しかし、対面授業が実施できなくなり、開発環境にjavascriptを追加した。この開発環境追加により、指定されたWebページへカメラ付きパソコンでアクセスをすることで、Webページ上に表示されたUSBカメラ画像から「シャッタボタン」を押すことで、学習者が指定した時点での静止画像表示し、表示された画像から「顔検出特徴点座標」を得て、テキストボックスへ座標値を出力することを可能にした。複数名の学習者に依頼をして、作成したシステムの検証を試み、散布図による顔の表示までは困難なく運用できることを確かめた。すなわち、技術的スキルを要求することなく「顔の特徴点座標」を取得して処理可能である環境を構築した。
システムに関しては顔検出のdlibに加え、mediapipeライブラリを追加することで、顔の特徴点検出に多様性を加えることができ、静止画像処理だけでなく、動画を利用した教材の開発も容易になった。これらを用いて、顔の動きを動画取得して、顔の動きを推定するモデル構築を試みた。その結果、顔の「うなずき（顔の上下動）」と「否定（顔の左右動）」を区別するモデル構築に要する学習時間は各動作に対し数分の学習時間で可能であることを示した。これにより、現在注目を集めている「機械学習」を学習者自身が使って動作を推定する教材への発展させる可能性を示した。
一方で、構築したシステムの有用性を、学会などへ報告をし、様々な立場からの研究者のご検討をいただく機会が少なかった。多様なご意見を通じた検討がなされていないため、「やや遅れている」と評価した。
|
| Strategy for Future Research Activity |
USBカメラから得られる静止画像から「顔の特徴点座標値」を提供する環境をPythonおよびJavascriptで提供してきた。さらに動画の解析が可能な環境を作り、動画から得られた数値群から、顔の特徴点（鼻の頂点や両目尻）で構成される点の軌跡を用いた教材に発展させる可能性を見出してきた。
その結果を用いて、数秒間の動作を対象として、その動作を分類することを試みる。分類には多層パーセプトロンを用いた深層学習を用いる。具体的には日常的な会話行動における、顔の動きの上下動、すなわち「うなずき」、左右動、すなわち「否定」などの動きを数値として把握し、モデルを作って分類をすることを試みる。これにより静止画では難しい、教材としての多様性と魅力を増すのに資すると考えられる。一方で、一般的には動画処理は大量のデータ処理が必要になるが、解析対象の動きを厳選することで深層学習に要するデータ量を抑えることが可能であると思われる。これらの技術的な困難を避けながら魅力的な教材作成に努める。
これらの開発した環境を用いて、教材の作成をし、ドキュメントの提供をする。
また、構築したシステムに関し学会などで報告をして、研究者のご検討をいただく機会を作る。
|
| Causes of Carryover |
Pythonで構築した「顔の特徴点座標」数値出力システム,および深層学習によるモデル構築の発表を予定していた国際会議が中止となり、予定していた旅費を使用しなかった。および国内での学会発表も、対面での発表が1件のみで、もう1件はonlineでの実施になり、予定していた旅費の使用金額が減少した。これにより次年度使用額(B-A)がゼロより大きくなった。
今後、構築したシステムに関し学会などで報告をして、研究者のご検討をいただく機会を作るために、本補助金を使用する。
|
Research Products
(3 results)
