機械学習による児童生徒の学習参加の状態推定解析システムの開発

• Project/Area Number: 22K02870
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Kanazawa Institute of Technology
• Principal Investigator: 石川 健介 金沢工業大学, 情報フロンティア学部, 教授 (90319038)
• Co-Investigator(Kenkyū-buntansha): 竹井 義法 金沢工業大学, 工学部, 教授 (30350755)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2024: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000); Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
• Keywords: 状態推定 / 機械学習 / 画像処理 / 支援システム / 学習 / 集中度推定 / 教授スキル

Outline of Research at the Start

現在わが国ではインクルーシブ教育が推進されている。インクルーシブ教育とは「障害のある子どもも障害のない子どもも同じ場で共に学ぶ教育」のことである。しかし、教育的支援ニーズのある児童生徒と学級全体への指導を両立させるのは容易ではない。教師には、教室の全児童生徒に目を配りながら、効果的な授業を展開するという授業スキルが求められている。本研究は、この授業スキルの習得を促す機械学習による映像解析システムを提案するものである。教師のさまざまな「教授行動」とともに児童生徒の「授業参加行動」を記録し、どの教授行動が子どもの授業参加を高めたか、あるいは効果がなかったのかの検討が可能となる。

Outline of Annual Research Achievements

本研究では、多様な教育的ニーズのある児童生徒が混在する現在の学級において、教育活動を推進するために、新たな授業スキルの習得を促す機械学習による映像解析システムを提案する。
本年度は学習者の姿勢推定手法を見直し、その推定精度の向上について検討を進めた。前年度のシステムを含む、従来我々が提案している集中度推定のシステムにおいて、上体の姿勢や顔認識に用いていた画像処理アルゴリズムでは、処理が重く、GPU等の計算機支援が必須な場合や、学習者の姿勢によっては顔向きの推定が正しくできず、結果として集中度が正しく判定できない場合がある等の課題があった。
今年度は学習者の顔向き推定にかかる姿勢推定のために、画像処理ライブラリとしてMediaPipeを新たに導入し、集中度推定の評価を行った。その結果、顔全体にポイントされるランドマークの3次元座標推定に基づいた顔向きの推定結果を用いることで、下方や横方向に顔を向ける場合にオクルージョンが生じるような顔のランドマークの検出が難しい姿勢においても集中度算出が可能となることを確認した。さらに、学習者の顔が確認できる範囲において、計測用カメラを任意の位置に設置して計測開始できるように改良し、今後の実証実験に向けた改善も行った。
今後は、これまで別途開発を行ってきた指導者のジェスチャによる注視対象の切替等と統合するなど、集中度推定を適用するシチュエーションに柔軟に対応できるシステム構築を目指す。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

上体の姿勢や顔認識に用いていたいくつかの画像処理アルゴリズムで、処理が重い場合や、学習者の姿勢によっては顔向きの推定が正しくできず、結果として集中度が正しく判定できない場合がある等、課題が残った。そのため、今年度は、画像処理ライブラリを新たに導入して推定の改善を図った。
この新たなライブラリの導入で従来手法と比較して、顔のランドマークの検出が難しい姿勢においても集中度算出が可能となることを確認できた。ただこの作業のため教室の測定が困難となり、実施がもちこしとなった。

Strategy for Future Research Activity

本年度は、改良した姿勢推定に基づく集中度推定システムの構築において、画像処理ソフトウェアの改良評価を進めつつ、シミュレーション場面での測定とその評価、ならびに小学校や中学校の協力を得ることで、実際の教育現場での計測とその評価を行う予定である。これによって合わせて教室全体の児童生徒を対象として、推定できるようなシステムも含めた構築を目指す。