機械学習による児童生徒の学習参加の状態推定解析システムの開発

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K02870
• Research Institution: Kanazawa Institute of Technology
• Principal Investigator: 石川 健介 金沢工業大学, 情報フロンティア学部, 教授 (90319038)
• Co-Investigator(Kenkyū-buntansha): 竹井 義法 金沢工業大学, 工学部, 教授 (30350755)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 状態推定 / 学習 / 機械学習

Outline of Annual Research Achievements

学習支援のための集中度推定システムの開発において、本年度はその推定精度向上に関して検討を進めた。単眼カメラを用いて得られる動画像に対する画像処理によって、学習者が注視対象、すなわち、学習時における机上の、あるいは教員が提示する教材を注視しているか、学習者の頭部姿勢を推定し、注視対象の方向と一致するかを評価することで集中度を推定している。また、学習者の開眼閉眼についても画像処理に基づいて判定を行い、集中度評価を行っていたが、画像からの特徴抽出に基づく手法ではカメラ画像の輝度や学習者の姿勢によって開眼閉眼を正しく判定できない場合があった。そこで、本年度は深層学習に基づく判定方法を導入したところ、開眼閉眼の判定を正しく行うことが可能となり、集中度推定の精度の向上を確認することができた。さらに、前述のような学習時の注視対象は、机上の教材から教員の提示物、あるいは何らかの説明行っている教員まで、都度切り替わっていくものであるが、教員が注意喚起を目的とした身振り手振りによって注視対象が切り替わったことを検出し、学習者の集中度推定を継続して行うために、指導者のモーション検知に関する評価実験を行った。手を叩く、手を振る、それぞれの動作を指導者役の被験者の手首に装着した3軸加速度センサの応答波形に短時間フーリエ変換を適用して評価した。その結果、それぞれの動作において特徴的な周波数特性が得られることが確認でき、今後、機械学習に基づくモーション検知の実現を進め、実際の授業における評価検討を進める。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

新型コロナウイルス（COVID-19）の影響により、実際の教室を想定したデータの収集、評価、改良が十分行えなかった。今年度はシステムの改良とともに、教室でのデータ収集を実現できるよう進めていきたい。

Strategy for Future Research Activity

2023年の研究の計画案では、以下の内容を行う予定である。まず、機械学習に基づくモーション検知の精度を高め、指導者の動作に伴って学習者の状態推定が正確に行えるか、学習者の行動と集中度に関するデータを収集する。カメラが捉えた映像について本研究の開発したシステムの解析結果と、人による観察結果との比較検証を重ねる。これにより、実際の環境下でのモーション検知の有用性や信頼性を評価し、システムの実用性を高めることを目指す。
次に、滞っていた教室での学習者を想定した実験を行い、学習者の状態推定が正確に行えるかを検討する。小中高等学校の教室内で使用することを念頭に、指導者の指示・動きと連動させた記録方法の開発、学習者（児童生徒）が注視対象を変更しても解析システムが問題なく動作するかの確認を行う。実際の学習環境での学習者の状態推定の課題を明らかにし、改善策を検討する。同時に、実際の学習環境でのユーザビリティを評価して、システムの使いやすさと実用性を向上させるための改良を行う。
さらに、状態推定の結果を活用して、学習者の「授業参加行動」を判定する精度を確認し、さらなる向上を図る。

Causes of Carryover

本年度は、学習者の姿勢推定に基づく集中度推定システムの構築において、画像処理ソフトウェアの改良評価を中心に進めた。今後、集中度推定システムのマイコンボードへの実装や、深層学習に基づく画像処理手法の適用範囲拡大にむけた評価検討を予定しており、指導者のモーション推定等を含めたシステム全体の構築を進めるにあたって、機械学習用の計算機購入等。その進展に応じて適切な予算執行を行っていく。