受講生の表情・動作からの受講状況認識に基づくオンライン授業支援環境の構築

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K20224
• Research Institution: International Professional University of Technology in Nagoya
• Principal Investigator: 中谷 広正 名古屋国際工科専門職大学, 工科学部, 学部長 (80109131)
• Project Period (FY): 2021-08-30 – 2023-03-31
• Keywords: オンライン授業 / 授業支援 / 顔画像 / 動作認識

Outline of Annual Research Achievements

（1）オンライン授業映像収集：　研究代表者が所属する学部においても令和３年度は新型コロナの影響で大半の授業がオンラインで実施された。それらの映像を本研究で利用することについて教員と学生から承諾を得た上で、実際のオンライン授業映像を用いて研究を進めることができた
（2）人物検出・追跡に適した画像特徴に関する研究：　オンライン授業での受講生撮影に関する各種設定は受講生自身よって為される。そのため使用機材・通信環境・照明環境・室内背景や被写体の位置と大きさなどの差異や変動が大きい。受講生を検出し追跡するにあたって、それらの変動にも頑健な画像特徴について考察した。本年度は、多人数の受講生が映った画像から各受講生を切り出す手法や顔画像から学習したHaar-Like特徴量を用いた手法について実験と実装を進めた。
（3）受講状況認識に適した空間的・時間的特徴に関する研究：　実時間で観測された表情データ・動作データから受講生の興味維持度・集中度など受講状況を定量的に計測する手法について考察した。本年度は、各受講生の授業への集中度を測るために、顔領域を追跡することによって顔の時間的・空間的変動を解析する手法と結果を提示する手法について実験と実装を進めた。
（4）オンライン授業支援環境の機能設計：　オンライン授業で教員に負わされた受講状況の判断をオンライン授業支援環境がどこまで代替できるか、上記(1)－(3)の結果を踏まえシステムに対する要求仕様について考察した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

オンライン授業映像収集、人物検出・追跡に適した画像特徴、受講状況認識に適した空間的・時間的特徴、オンライン授業支援環境の機能設計について研究できた。

Strategy for Future Research Activity

(1) 実時間で観測された表情データ・動作データから受講生の内容理解度・興味維持度・集中度など受講状況を定量的に計測する手法についての研究
(2) 受講状況計測からその提示、講義支援まで一連のシステム設計、プロトタイプ作成
(3) 作成したオンライン授業支援環境の実際の授業への適用と、その有効性実証
(4) 受講状況を蓄積したデータベースを活用することによって、オンライン授業の改善シミュレーション機能の実現など、開発した環境の高度化

Causes of Carryover

次年度使用額が生じた理由：　予定していた国内外出張を新型コロナ禍により取りやめたため。
使用計画：　次年度に出張する。