2023 Fiscal Year Annual Research Report
USBカメラによる顔の動き数値化と数値処理教材の開発
| Project/Area Number |
19K03178
|
|---|
| Research Institution | Gifu Shotoku Gakuen University |
|---|
Principal Investigator |
伊藤 敏 岐阜聖徳学園大学, 経済情報学部, 名誉教授 (80130946)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鷲野 嘉映 愛知みずほ短期大学, その他部局等, 教授(移行) (90220855)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 科学教育 / 顔の動き / 顔検出 / 顔の特徴点 |
|---|
| Outline of Annual Research Achievements |
学習者が自身の行動を数値データとして取得して、数値処理が可能になる教材作成を目的とした。行動として顔の動きを対象とした。顔の動きは鏡などで確認が容易であり、学習者が関心を高く持つことが可能な動きであると思われるため、選択した。
学習者自身が機械学習で学習済みのモデルを利用して行動推定したり、さらには機械学習のモデル構築を試みる可能性を検討した。
2019年度で機械学習ライブライを用いて動画から「顔の特徴点座標」を取得し、頭頂部につけた慣性センサと同時計測をすることで、「顔の動き」を正しくとらえていることを確かめた。2020年度は、COVID-19蔓延のため、対面を伴う実践的研究が困難になった。そこで、Windows環境で、USBメモリーを用いたPython環境を作成し、ネット経由で環境構築を含めて運用が可能なことを確かめた。2021年度は、「顔の特徴点座標取得」の開発環境としてjavascriptを加えた。Webページにアクセスをして、Web経由での教材作成が可能になった。
2019年度から2021年度の研究で得られた顔の動き検出の知見もとに、2022年度は、顔の特徴点として両目尻と鼻頭の3点を選び、多層パーセプトロンを用いてモデルを構築した。「うなずき（顔の上下動）」、「否定（左右動）」などの動作を推定することを試みた。2023年度は顔検出ツールとしてmediapipeを用いて、顔の動きの軌跡を取得し、動きを推定するモデルを構築することを試みた。構築された学習済みモデルでの行動推定結果は目視による結果と良い一致を得た。動作推定モデル作成には、何万件に及ぶ大量の学習データではなくとも、数分間の行動学習用データでモデル構築が可能であることを示した。これにより「機械学習モデル」を学習者自身が推定に利用可能であり、学習者自身が機械学習モデル構築して推定に利用できる可能性を示した。
|
