2023 Fiscal Year Research-status Report
学習指導案に基いた映像分析による集中度の可視化および授業改善に関する研究
| Project/Area Number |
22K02892
|
|---|
| Research Institution | University of the Ryukyus |
|---|
Principal Investigator |
姜 東植 琉球大学, 工学部, 准教授 (00315459)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
笹澤 吉明 琉球大学, 教育学部, 准教授 (50292587)
小林 稔 文教大学, 教育学部, 教授 (70336353)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 授業映像 / 集中度推定 / 人物検出 / openpose / k-means |
|---|
| Outline of Annual Research Achievements |
本研究では，新たに授業映像から姿勢情報を抽出し，生徒の集中度を推定するシステム(以下，集中度推定システム)を提案する．本集中度推定システムは大きく分けて(i)映像入力部，(ii)動作検出部，(iii)集中度推定部の3つのパーツで構成されている．集中度推定システムは単眼カメラを用いて教室全体を撮影した映像を入力として受け取り，フレームごとの生徒の動作データ(以下，動作譜)と集中度推定の結果を出力する．しかしながら、OpenPoseには人物追跡機能が実装されていないため，映像入力部の出力時点ではフレームを跨いだ同一人物のキーポイント情報が使用できない．そのため，本システムは動作検出および人物追跡にいくつかのしきい値を用いているが，その全てが授業映像を目視で確認して恣意的に決定したものであった．これにより，しきい値は授業映像ごとに直接確認して決定する必要があり，提案された集中度推定システムは汎用性が低いものであった．そこで，今年度では動作検出に使用するしきい値の一つで統計量を用いるように変更し，集中度推定システムの汎用性を向上させた．人物追跡を行う方法として k-means法を用いる手法を提案した．具体的には，全フレームのキーポイント座標を取得後，首の座標集合に k-meansを適用してクラスタを検出した．このように検出した各クラスタを 1 人の人物として捉えることで，同一人物の追跡を可能にした．これにより，授業映像から児童生徒の視線の正面を動的に判断できるよう改良でき，集中度の推定精度を向上させた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画通り，k-means法により人物の追跡精度を改善することができ，授業映像から児童生徒の視線の正面を動的に判断することに繋がった．これにより，従来生徒の正面を教室に設置してある黒板の中央に固定していたが，新たな正面として，教師やプロジェクター位置を考慮した「動的正面」を求めることで集中度精度を向上させることが可能になった．具体的には集団の全員に対する視線方向を情報エントロピーとして捉え，視線の正面を動的に定める基準とし、生徒(情報源)の視線方向の不確定さを数値化(情報量)することで，最もエントロピー値が低い方向(不確実性が少ない)を動的正面として推定できた．これらの研究成果は学術論文として発表しており，現在までの進捗状況として，おおむね順調に進展していると判断した．
|
| Strategy for Future Research Activity |
来年度は本研究の最終年であり，集中パターンの推定を目標としており，時系列の動作譜からパターンが周期的に現れる区間を求めたり，また視線の傾きを時系列的に分析する予定である．そこで，まず時系列に対し線分化を行い，何らかの規則に基づき複数の部分時系列(セグメント)に分割することにより，集中パターンを抽出する．実際授業映像は１秒間１フレームになっており、そのまま集中度のパターンを捉えるのは困難である。そのため，k最近傍法(kNN法)を導入し，線分化時系列を対象に量子化を行い，パターン形状の簡単化をはかる．そして，セグメント(部分シーケンス集合)に分割し，それらの類似時系列パターンを機械学習によりグループ化し，最終集中パターンとする．また、これらの出現頻度や時速時間などを計測し，本研究で提案している集中度の計算式に加算することで精度の向上をはかる．そして、最終的には実用化を実現するため，教師らが本システムを使用する上で必要不可欠であるインターフェースや可視化手法を明らかにする．具体的には授業映像を本システムに入力することで、各個人の授業における集中度を数値として示すウェブアプリとして開発する予定である。
|
| Causes of Carryover |
新型コロナウイルスによる影響がまだ残っており、計画通り小中学校を訪問することが困難でありました。そのため、授業映像に基いた集中度の解析実験が十分に実施できず、その成果を検証するのに時間を要している状況にあります。また、円安は研究活動に多大な影響を与えており、当初購入計画をしていた物品費や旅費について見なおす必要があり、本年度の予算を次年度に繰越し合計額で対応しようと考えております。なお、次年度に繰越した金額の主な使用計画としましては、AIのシミュレーションを考慮したデスクトップ型コンピュータの購入や、国外の国際コンファレン スへの参加および学術論文掲載費などに支出する予定です。
|
Research Products
(2 results)
