USBカメラによる顔の動き数値化と数値処理教材の開発
| Project/Area Number |
19K03178
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09080:Science education-related
|
|---|
| Research Institution | Gifu Shotoku Gakuen University |
|---|
Principal Investigator |
伊藤 敏 岐阜聖徳学園大学, 経済情報学部, 名誉教授 (80130946)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鷲野 嘉映 愛知みずほ短期大学, その他部局等, 教授(移行) (90220855)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 科学教育 / 顔の動き / 顔検出 / 顔の特徴点 / 顔の動作推定 / Webページで運用 / 可視化 / 慣性センサ |
|---|
| Outline of Research at the Start |
学習者自身の「顔の動き」を解析対象とした数値処理教材の作成をする。USBカメラまたはビデオカメラから取得した動画から顔を検出し、鼻の頂点の位置、口唇の形状・開閉、顔の向きを取得し、座標を出力する。そのシステムが出す数値データを処理して
「観測する」・「計算する」・「処理する」
などの教材システムを作成し、実践で検証する。研究は、1. 動画から顔検出と顔の構成パーツ座標取得するシステム開発、2. 教材システム構築、3. 教材システムの実践による検証の3部から構成される。
|
| Outline of Annual Research Achievements |
学習者が自身の行動を数値データとして取得して、数値処理が可能になる教材作成を目的とした。行動として顔の動きを対象とした。顔の動きは鏡などで確認が容易であり、学習者が関心を高く持つことが可能な動きであると思われるため、選択した。
学習者自身が機械学習で学習済みのモデルを利用して行動推定したり、さらには機械学習のモデル構築を試みる可能性を検討した。
2019年度で機械学習ライブライを用いて動画から「顔の特徴点座標」を取得し、頭頂部につけた慣性センサと同時計測をすることで、「顔の動き」を正しくとらえていることを確かめた。2020年度は、COVID-19蔓延のため、対面を伴う実践的研究が困難になった。そこで、Windows環境で、USBメモリーを用いたPython環境を作成し、ネット経由で環境構築を含めて運用が可能なことを確かめた。2021年度は、「顔の特徴点座標取得」の開発環境としてjavascriptを加えた。Webページにアクセスをして、Web経由での教材作成が可能になった。
2019年度から2021年度の研究で得られた顔の動き検出の知見もとに、2022年度は、顔の特徴点として両目尻と鼻頭の3点を選び、多層パーセプトロンを用いてモデルを構築した。「うなずき（顔の上下動）」、「否定（左右動）」などの動作を推定することを試みた。2023年度は顔検出ツールとしてmediapipeを用いて、顔の動きの軌跡を取得し、動きを推定するモデルを構築することを試みた。構築された学習済みモデルでの行動推定結果は目視による結果と良い一致を得た。動作推定モデル作成には、何万件に及ぶ大量の学習データではなくとも、数分間の行動学習用データでモデル構築が可能であることを示した。これにより「機械学習モデル」を学習者自身が推定に利用可能であり、学習者自身が機械学習モデル構築して推定に利用できる可能性を示した。
|
Report
(5 results)
Research Products
(8 results)
