| Project/Area Number |
22K02892
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | University of the Ryukyus |
|---|
Principal Investigator |
姜 東植 琉球大学, 工学部, 准教授 (00315459)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
笹澤 吉明 琉球大学, 教育学部, 准教授 (50292587)
小林 稔 文教大学, 教育学部, 教授 (70336353)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 授業映像 / 集中度推定 / 人物検出 / openpose / k-means / 授業改善 / 音声認識 / 指導案 / 発話カテゴリー / 集中度 / 学習理解度 / 映像解析 / 可視化 / 教育工学 |
|---|
| Outline of Research at the Start |
本研究では多人数の学習者の姿勢や動きから集中度をはかり、その授業に対し授業改善を支援するものであり、以下の4点について検証を行う。
(1) 正面の設定において、児童生徒の視線や姿勢を情報源として捉え、生起確率に変化することでエントロピーを算出し、動的に正面を推定する手法を検証する。(2) 集中度計測において、実際セグメントの最適サイズやそのパターン数を科目や単元ごとに実験を通し検証する。(3) 指導案キーワード集の作成においては、ビギナー教師とベテラン教師の学習指導案から抽出を 行い、これらの有効性を検証するため比較調査を行う。
|
| Outline of Annual Research Achievements |
本研究では，新たに授業映像から姿勢情報を抽出し，生徒の集中度を推定するシステム(以下，集中度推定システム)を提案する．本集中度推定システムは大きく分けて(i)映像入力部，(ii)動作検出部，(iii)集中度推定部の3つのパーツで構成されている．集中度推定システムは単眼カメラを用いて教室全体を撮影した映像を入力として受け取り，フレームごとの生徒の動作データ(以下，動作譜)と集中度推定の結果を出力する．しかしながら、OpenPoseには人物追跡機能が実装されていないため，映像入力部の出力時点ではフレームを跨いだ同一人物のキーポイント情報が使用できない．そのため，本システムは動作検出および人物追跡にいくつかのしきい値を用いているが，その全てが授業映像を目視で確認して恣意的に決定したものであった．これにより，しきい値は授業映像ごとに直接確認して決定する必要があり，提案された集中度推定システムは汎用性が低いものであった．そこで，今年度では動作検出に使用するしきい値の一つで統計量を用いるように変更し，集中度推定システムの汎用性を向上させた．人物追跡を行う方法として k-means法を用いる手法を提案した．具体的には，全フレームのキーポイント座標を取得後，首の座標集合に k-meansを適用してクラスタを検出した．このように検出した各クラスタを 1 人の人物として捉えることで，同一人物の追跡を可能にした．これにより，授業映像から児童生徒の視線の正面を動的に判断できるよう改良でき，集中度の推定精度を向上させた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画通り，k-means法により人物の追跡精度を改善することができ，授業映像から児童生徒の視線の正面を動的に判断することに繋がった．これにより，従来生徒の正面を教室に設置してある黒板の中央に固定していたが，新たな正面として，教師やプロジェクター位置を考慮した「動的正面」を求めることで集中度精度を向上させることが可能になった．具体的には集団の全員に対する視線方向を情報エントロピーとして捉え，視線の正面を動的に定める基準とし、生徒(情報源)の視線方向の不確定さを数値化(情報量)することで，最もエントロピー値が低い方向(不確実性が少ない)を動的正面として推定できた．これらの研究成果は学術論文として発表しており，現在までの進捗状況として，おおむね順調に進展していると判断した．
|
| Strategy for Future Research Activity |
来年度は本研究の最終年であり，集中パターンの推定を目標としており，時系列の動作譜からパターンが周期的に現れる区間を求めたり，また視線の傾きを時系列的に分析する予定である．そこで，まず時系列に対し線分化を行い，何らかの規則に基づき複数の部分時系列(セグメント)に分割することにより，集中パターンを抽出する．実際授業映像は１秒間１フレームになっており、そのまま集中度のパターンを捉えるのは困難である。そのため，k最近傍法(kNN法)を導入し，線分化時系列を対象に量子化を行い，パターン形状の簡単化をはかる．そして，セグメント(部分シーケンス集合)に分割し，それらの類似時系列パターンを機械学習によりグループ化し，最終集中パターンとする．また、これらの出現頻度や時速時間などを計測し，本研究で提案している集中度の計算式に加算することで精度の向上をはかる．そして、最終的には実用化を実現するため，教師らが本システムを使用する上で必要不可欠であるインターフェースや可視化手法を明らかにする．具体的には授業映像を本システムに入力することで、各個人の授業における集中度を数値として示すウェブアプリとして開発する予定である。
|
