| 研究課題/領域番号 |
18K02901
|
|---|
| 研究機関 | 琉球大学 |
|---|
研究代表者 |
姜 東植 琉球大学, 工学部, 准教授 (00315459)
|
|---|
| 研究分担者 |
笹澤 吉明 琉球大学, 教育学部, 准教授 (50292587)
小林 稔 琉球大学, 教育学研究科, 教授 (70336353)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2023-03-31
|
| キーワード | 集中度 / 理解度 / 可視化 / 映像 / openpose |
|---|
| 研究実績の概要 |
本研究は，固定カメラで授業中の教室全体を撮影した動画から各個人の集中度を評価するシステムを提案するものであり，大きく分けて①映像入出力部，②動作検出部，③集中度推定部の3つのパーツで構成される.まず，生徒個人の学習状態をはかる手段として，授業中に撮影した映像からOpenposeを用いて人物の検出を行い，姿勢や顔の向きなどの動作の情報から集中度を測定する.また，パフォーマンス評価を用いることで，客観的な評価を行うための指標を可視化している. 今回の実験では，マスクを着用している状態での授業映像を使用した.授業構成としては，スライドを用いた睡眠についての50分間の授業であり，座って話を聞く座学形式である.開始後30分は，講師が授業内容の説明を行い，後半20分ほどは，配布された用紙に各自で記入を行う構成となっている.この授業画像から複数人の姿勢をリアルタイムに抽出するライブラリであるOpenposeにより顔や手，足などの18点のキーポイントを検出し，各人物に対し1顔の動き，2上半身の動き，3体の向きを推定し，各々，時系列の動作譜を生成する.
しかしながら, Openposeでは複数人の姿勢を抽出することは可能であるが,その人物を追跡することができず,同一人物に一つのUser IDを付与することが困難である. そこで, k-means法を導入し,同一人物を継続的に検出できるよう改良を行なった.さらに，時刻tの学習者の総合的な集中度をC_l(t)，顔の動きの推移から得られる集中度をC_f(t)，上半身の動きの推移から得られる集中度をC_(t)，顔の左右の向きから得られる集中度をC_d(t)とし，C_(t) = C_l(t - 1) + C_f(t) + C_b(t) + C_d(t)を元に算出する.また,実験結果によると,k-means法を導入し改良したシステムの方が既存のシステムに比べ、人物の検出率が高くなった.
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
新型コロナウイルス感染症拡大により休校となったり，オンライン授業を行っているため，対面型授業を撮影することが出きませんでした.そのため，授業映像に基いた集中度の解析実験がやや遅れております.
|
| 今後の研究の推進方策 |
本研究では,人物検出は重要であり,授業映像を撮影する際にはカメラの最適位置を調べる．また, 集中度推定部においては顔の向きと上半身の向きには高い相関が見られたものの，1秒間の動作譜から相関を求めている.しかしながら，現実的により長い時間において集中をしていると考えられるため，長期集中パターンを推定する必要がある.そのため, 複数の時系列データでの学習を可能にする手法の導入が有効であると考えられる.
今回，聴講者は全員マスクを着用していた為，マスクを着用していない場合と比較し，人物のキーポイントを検出できないフレームが多く存在した. それらを欠損値として扱ったが，統計的な分析を導入し，補完処理を行う必要があると考えられる.
|
| 次年度使用額が生じた理由 |
新型コロナウイルス感染症拡大により予定通り研究活動を実施することが出きませんでした. そのため, 次年度において,授業映像の装置や映像解析用のコンピュータとツールを購入する予定である. また,本研究に関連した資料収集や研究成果の発表に必要な旅費として支出する予定である.
|
