2023 Fiscal Year Research-status Report
Extending lecture capture system for multimodal learning analytics
| Project/Area Number |
22K12313
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
永井 孝幸 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (00341074)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 講義ビデオ / うなずき検知 / 学習状況共有 / 同意取得 |
|---|
| Outline of Annual Research Achievements |
本年度の研究では生体センシング技術を用いて講義ビデオ視聴中の学習者の頷きの検知と頷き状況の可視化を行う講義ビデオ視聴ツールの開発を行った。ビデオ視聴用の端末にはノートPCを用い、これとiPhoneを組み合わせることで頭部追跡と頷き検知を実現する。頷きの検知には頭部追跡の結果得られた鼻の特徴点を用い、0.5秒以内に上下方向に大きな変動があることを検出ルールとした。
開発したビデオ視聴ツールでは、複数の学習者から得られた講義時間毎の頷きの検知回数を「頷きアバター」と「頷き回数グラフ」の2通りの手段で可視化する。頷きアバターは講義ビデオの該当時間において検出された頷き回数に応じて学生を模したアバターがうなずくという可視化方法であり、単独で講義を視聴している学習者に他の学習者の受講状況を共有する役割を持つ。「頷き回数グラフ」は横軸を講義時間、縦軸を頷き回数とした頷き回数の時系列グラフであり、講義全体を通じた学習者の反応がひと目で分かるようになっている。講義ビデオ視聴状況の共有が学習者に受容されるか確認するため、開発したビデオ視聴ツールを用いた評価実験を行った。その結果、ビデオ視聴ツールを介した視聴状況の共有について抵抗感を持たないことが確かめられた。
実環境での利用にあたっては、視聴状況の記録ならびに利活用について学習者ならびに分析担当者から同意を得た上で適切なアクセス制限を施す必要がある。学習データ利活用に関する同意取得にあたり、LMS(Moodle)上で利用条件に関する同意を取得し、同意状況を認証基盤を通じてサービス利用資格に反映させる機構を実装した。
頷き動作は対面講義における意識的な非言語コミュニケーションとして広く用いられており、オンデマンド講義においてもビデオ視聴ツールを介して頷き状況を共有できることは重要であると考えている。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
講義ビデオ視聴中の学習者の非操作的振る舞いのうち、頷き検知について実現し視聴ツールとの連携を実現することができた。一方、当初計画していた学習中の姿勢・表情の抽出については、学生へのアンケート結果から学習支援として受容されにくいことが分かってきたためデータ収集・解析の対象からは外している。学習データの利活用におけるデータ収集・分析基盤が備えるべきプライバシー保護機構として、LMSを通じた同意取得とサービス利用資格の連携機構を実装した。開発したツールやプライバシー保護機構の有効性について、まだ十分な規模で評価が行えていないため「やや遅れている」と評価した。
|
| Strategy for Future Research Activity |
これまでに得られた成果をもとにカメラ映像に基づく学習者イベントの抽出・分析機能を利用できるよう講義収録配信システムを拡張する。LMS と連携した日常利用に耐えるよう、土台となる講義収録配信システムにはオープンソースのソフトウェアとして長年実績のあるOpencast を用い、これにMoodle とLearningLocker 等の学習データストアを組み合わせることでシステム開発の基盤とする。PTZ カメラと制御用PC 一式を講義室に設置しOpencast と連携させることで、対面講義映像の日常的な収録環境を整備する。日常的な学習者イベントの抽出・分析が学習共同体に受容されるために必要な要素を明らかにするため、抽出した学習者イベントを学習状況として共有する機能を実装する。
システムの評価実験にあたっては利用者の同意を得てから行うものとし、データ利用の同意期間を過ぎた履歴データは廃棄処理を行う。視線計測など生体データを取り扱う実験については学内の研究倫理委員会の許可を得て実施する。
|
| Causes of Carryover |
参加した国際会議が日本国内での開催であったため、旅費に残額が生じたことが主な理由である。研究費を有効活用してR6年度の活動（講義集録環境の整備、その他）を推進するとともに、積極的に学会参加・調査旅行を実施する予定である。
|
