Extending lecture capture system for multimodal learning analytics

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K12313
• Research Institution: Kyoto Institute of Technology
• Principal Investigator: 永井 孝幸 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (00341074)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Keywords: 講義映像 / 視線検出 / 映像脈波

Outline of Annual Research Achievements

本年度の研究では生体センシング技術を用いて講義ビデオ視聴中の学習者の視線・心拍を取得可能な講義ビデオ視聴ツールの開発を行った。ビデオ視聴用の端末にはWebカメラを接続したノートPCを用い、これとiPhoneを組み合わせることで視線計測と心拍の計測を実現する。視線検出についてはiPhoneのカメラと視線検出ソフト(Eyeware Beam)の組み合わせにより、講義スライド中のどの領域を見ているか判別できる程度の良好な精度が得られた。心拍の計測はWebカメラ映像に対して映像脈波を検出することで実現した。カメラ映像内の顔に対して肌色領域の色成分の変化を検出する方式であり、照明条件の影響を受けやすいという欠点がある。逆光下のカメラ映像では脈波の検出に失敗するが、肌色領域の検出条件を調整することで脈波の検出が改善されることが分かった。
顔検出・視線検出が行えることは映像に基づく生体センシング技術を適用する大前提であり、この点で現実の講義視聴環境に近い状態で検出がうまく行えることが確認できたのは重要な一歩である。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

講義ビデオ視聴中の視線・顔検出ならびに映像脈波の検出・記録が可能な講義ビデオ視聴ツールの開発が本年度の目標であり、最低ラインは達成したと考えている。ただし、現在の実装はWindowsのデスクトップ環境に限定されており、幅広い学習者が利用できるようにするにはWebアプリケーションとして実装する必要がある。また、映像脈波の検出を安定させるための肌色領域の検出については様々な照明条件における評価がまだ必要であると考えている。このため、「やや遅れている」と評価した。

Strategy for Future Research Activity

映像脈波の安定的な検出に必要な肌色領域の検出について、色空間上で肌色領域を指定する古典的な方法を用いていた。これに対し、深層学習を用いることで照明条件に対して頑健な検出手法が近年提案されており、これらの新しい手法を用いることで映像脈波の検出を安定させることを考えている。
次の段階として，一般的な映像視聴用の機能と抽出結果記録機能を備えたWeb アプリとして映像プレイヤーを実装する．振る舞い記録機能の利用に関する同意の取得や記録データの利用条件を指定する機能など，データの利活用に必要となる機能の要件を明らかにする．その後、開発した映像プレイヤーによって得られる非操作的振る舞いデータ系列から，学習状況を把握するための学習者イベントを抽出する機構を開発する．

Causes of Carryover

コロナ禍対応の一環として学会参加や国外調査を見合わせたため、旅費に残額が生じたことが主な理由である。2023年5月8日からコロナ禍による行動制限が緩和されたため、本年度は学会参加・調査旅行を実施する予定である。