機械学習による児童生徒の学習参加の状態推定解析システムの開発

• Project/Area Number: 22K02870
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Kanazawa Institute of Technology
• Principal Investigator: 石川 健介 金沢工業大学, 情報フロンティア学部, 教授 (90319038)
• Co-Investigator(Kenkyū-buntansha): 竹井 義法 金沢工業大学, 工学部, 教授 (30350755)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2024: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000); Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
• Keywords: 状態推定 / 学習 / 機械学習 / 集中度推定 / 画像処理 / 教授スキル / 支援システム

Outline of Research at the Start

現在わが国ではインクルーシブ教育が推進されている。インクルーシブ教育とは「障害のある子どもも障害のない子どもも同じ場で共に学ぶ教育」のことである。しかし、教育的支援ニーズのある児童生徒と学級全体への指導を両立させるのは容易ではない。教師には、教室の全児童生徒に目を配りながら、効果的な授業を展開するという授業スキルが求められている。本研究は、この授業スキルの習得を促す機械学習による映像解析システムを提案するものである。教師のさまざまな「教授行動」とともに児童生徒の「授業参加行動」を記録し、どの教授行動が子どもの授業参加を高めたか、あるいは効果がなかったのかの検討が可能となる。

Outline of Annual Research Achievements

学習支援のための集中度推定システムの開発において、本年度はその推定精度向上に関して検討を進めた。単眼カメラを用いて得られる動画像に対する画像処理によって、学習者が注視対象、すなわち、学習時における机上の、あるいは教員が提示する教材を注視しているか、学習者の頭部姿勢を推定し、注視対象の方向と一致するかを評価することで集中度を推定している。また、学習者の開眼閉眼についても画像処理に基づいて判定を行い、集中度評価を行っていたが、画像からの特徴抽出に基づく手法ではカメラ画像の輝度や学習者の姿勢によって開眼閉眼を正しく判定できない場合があった。そこで、本年度は深層学習に基づく判定方法を導入したところ、開眼閉眼の判定を正しく行うことが可能となり、集中度推定の精度の向上を確認することができた。さらに、前述のような学習時の注視対象は、机上の教材から教員の提示物、あるいは何らかの説明行っている教員まで、都度切り替わっていくものであるが、教員が注意喚起を目的とした身振り手振りによって注視対象が切り替わったことを検出し、学習者の集中度推定を継続して行うために、指導者のモーション検知に関する評価実験を行った。手を叩く、手を振る、それぞれの動作を指導者役の被験者の手首に装着した3軸加速度センサの応答波形に短時間フーリエ変換を適用して評価した。その結果、それぞれの動作において特徴的な周波数特性が得られることが確認でき、今後、機械学習に基づくモーション検知の実現を進め、実際の授業における評価検討を進める。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

新型コロナウイルス（COVID-19）の影響により、実際の教室を想定したデータの収集、評価、改良が十分行えなかった。今年度はシステムの改良とともに、教室でのデータ収集を実現できるよう進めていきたい。

Strategy for Future Research Activity

2023年の研究の計画案では、以下の内容を行う予定である。まず、機械学習に基づくモーション検知の精度を高め、指導者の動作に伴って学習者の状態推定が正確に行えるか、学習者の行動と集中度に関するデータを収集する。カメラが捉えた映像について本研究の開発したシステムの解析結果と、人による観察結果との比較検証を重ねる。これにより、実際の環境下でのモーション検知の有用性や信頼性を評価し、システムの実用性を高めることを目指す。
次に、滞っていた教室での学習者を想定した実験を行い、学習者の状態推定が正確に行えるかを検討する。小中高等学校の教室内で使用することを念頭に、指導者の指示・動きと連動させた記録方法の開発、学習者（児童生徒）が注視対象を変更しても解析システムが問題なく動作するかの確認を行う。実際の学習環境での学習者の状態推定の課題を明らかにし、改善策を検討する。同時に、実際の学習環境でのユーザビリティを評価して、システムの使いやすさと実用性を向上させるための改良を行う。
さらに、状態推定の結果を活用して、学習者の「授業参加行動」を判定する精度を確認し、さらなる向上を図る。