| 研究課題/領域番号 |
22K02870
|
|---|
| 研究機関 | 金沢工業大学 |
|---|
研究代表者 |
石川 健介 金沢工業大学, 情報フロンティア学部, 教授 (90319038)
|
|---|
| 研究分担者 |
竹井 義法 金沢工業大学, 工学部, 教授 (30350755)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 状態推定 / 機械学習 / 画像処理 / 支援システム |
|---|
| 研究実績の概要 |
本研究では、多様な教育的ニーズのある児童生徒が混在する現在の学級において、教育活動を推進するために、新たな授業スキルの習得を促す機械学習による映像解析システムを提案する。
本年度は学習者の姿勢推定手法を見直し、その推定精度の向上について検討を進めた。前年度のシステムを含む、従来我々が提案している集中度推定のシステムにおいて、上体の姿勢や顔認識に用いていた画像処理アルゴリズムでは、処理が重く、GPU等の計算機支援が必須な場合や、学習者の姿勢によっては顔向きの推定が正しくできず、結果として集中度が正しく判定できない場合がある等の課題があった。
今年度は学習者の顔向き推定にかかる姿勢推定のために、画像処理ライブラリとしてMediaPipeを新たに導入し、集中度推定の評価を行った。その結果、顔全体にポイントされるランドマークの3次元座標推定に基づいた顔向きの推定結果を用いることで、下方や横方向に顔を向ける場合にオクルージョンが生じるような顔のランドマークの検出が難しい姿勢においても集中度算出が可能となることを確認した。さらに、学習者の顔が確認できる範囲において、計測用カメラを任意の位置に設置して計測開始できるように改良し、今後の実証実験に向けた改善も行った。
今後は、これまで別途開発を行ってきた指導者のジェスチャによる注視対象の切替等と統合するなど、集中度推定を適用するシチュエーションに柔軟に対応できるシステム構築を目指す。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
上体の姿勢や顔認識に用いていたいくつかの画像処理アルゴリズムで、処理が重い場合や、学習者の姿勢によっては顔向きの推定が正しくできず、結果として集中度が正しく判定できない場合がある等、課題が残った。そのため、今年度は、画像処理ライブラリを新たに導入して推定の改善を図った。
この新たなライブラリの導入で従来手法と比較して、顔のランドマークの検出が難しい姿勢においても集中度算出が可能となることを確認できた。ただこの作業のため教室の測定が困難となり、実施がもちこしとなった。
|
| 今後の研究の推進方策 |
本年度は、改良した姿勢推定に基づく集中度推定システムの構築において、画像処理ソフトウェアの改良評価を進めつつ、シミュレーション場面での測定とその評価、ならびに小学校や中学校の協力を得ることで、実際の教育現場での計測とその評価を行う予定である。これによって合わせて教室全体の児童生徒を対象として、推定できるようなシステムも含めた構築を目指す。
|
| 次年度使用額が生じた理由 |
上記の7の理由により、進捗状況において、やや遅れて生じている。このためシミュレーション場面での計測と評価、ならびに学校等の実際の教育現場での計測と評価が行えていない。本年度は像処理ソフトウェアの改良評価を進めつつ、実証実験を進める上で必要な、無線化されたカメラの導入等、従来マイコンボードへの実装を進める以外の方策も検討を進める。今後も、指導者のモーション計測を含む、集中度推定のためのシステム構築をさらに進めるため、その進展に応じて適切な予算執行を行っていく。
|
