マルチモーダル学習分析基盤に向けた講義収録配信システムの拡張

• 研究課題/領域番号: 22K12313
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分62030:学習支援システム関連
• 研究機関: 京都工芸繊維大学
• 研究代表者: 永井 孝幸 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (00341074)
• 研究期間 (年度): 2022-04-01 – 2026-03-31
• 研究課題ステータス: 交付 (2022年度)
• 配分額: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円); 2025年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2024年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円); 2023年度: 650千円 (直接経費: 500千円、間接経費: 150千円); 2022年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
• キーワード: 講義映像 / 視線検出 / 映像脈波 / 講義集録 / 学習分析 / マルチモーダル

研究開始時の研究の概要

本研究の目的は，学習データ解析技術に基づく学習支援機能を備えた次世代デジタル学習環境において，データ解析の適用範囲を学習者の非操作的振る舞い(姿勢，視線，顔の向き，身振り等) にまで拡張するために鍵となる講義収録配信システムのシステム基盤を構築することである．
具体的には，映像視聴用の情報端末に備わっているカメラの映像に生体センシング技術を適用して学習中の学習者の非操作的振る舞いのデータ系列を取得し，取得した振る舞いデータ系列から学習者イベントを抽出し分析する機能を実装する．

研究実績の概要

本年度の研究では生体センシング技術を用いて講義ビデオ視聴中の学習者の視線・心拍を取得可能な講義ビデオ視聴ツールの開発を行った。ビデオ視聴用の端末にはWebカメラを接続したノートPCを用い、これとiPhoneを組み合わせることで視線計測と心拍の計測を実現する。視線検出についてはiPhoneのカメラと視線検出ソフト(Eyeware Beam)の組み合わせにより、講義スライド中のどの領域を見ているか判別できる程度の良好な精度が得られた。心拍の計測はWebカメラ映像に対して映像脈波を検出することで実現した。カメラ映像内の顔に対して肌色領域の色成分の変化を検出する方式であり、照明条件の影響を受けやすいという欠点がある。逆光下のカメラ映像では脈波の検出に失敗するが、肌色領域の検出条件を調整することで脈波の検出が改善されることが分かった。
顔検出・視線検出が行えることは映像に基づく生体センシング技術を適用する大前提であり、この点で現実の講義視聴環境に近い状態で検出がうまく行えることが確認できたのは重要な一歩である。

現在までの達成度 (区分)

3: やや遅れている

理由

講義ビデオ視聴中の視線・顔検出ならびに映像脈波の検出・記録が可能な講義ビデオ視聴ツールの開発が本年度の目標であり、最低ラインは達成したと考えている。ただし、現在の実装はWindowsのデスクトップ環境に限定されており、幅広い学習者が利用できるようにするにはWebアプリケーションとして実装する必要がある。また、映像脈波の検出を安定させるための肌色領域の検出については様々な照明条件における評価がまだ必要であると考えている。このため、「やや遅れている」と評価した。

今後の研究の推進方策

映像脈波の安定的な検出に必要な肌色領域の検出について、色空間上で肌色領域を指定する古典的な方法を用いていた。これに対し、深層学習を用いることで照明条件に対して頑健な検出手法が近年提案されており、これらの新しい手法を用いることで映像脈波の検出を安定させることを考えている。
次の段階として，一般的な映像視聴用の機能と抽出結果記録機能を備えたWeb アプリとして映像プレイヤーを実装する．振る舞い記録機能の利用に関する同意の取得や記録データの利用条件を指定する機能など，データの利活用に必要となる機能の要件を明らかにする．その後、開発した映像プレイヤーによって得られる非操作的振る舞いデータ系列から，学習状況を把握するための学習者イベントを抽出する機構を開発する．