| 研究課題/領域番号 |
18K02901
|
|---|
| 研究機関 | 琉球大学 |
|---|
研究代表者 |
姜 東植 琉球大学, 工学部, 准教授 (00315459)
|
|---|
| 研究分担者 |
笹澤 吉明 琉球大学, 教育学部, 准教授 (50292587)
小林 稔 琉球大学, 教育学研究科, 教授 (70336353)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2022-03-31
|
| キーワード | 集中度 / 理解度 / 可視化 / 映像 / 授業 / openpose |
|---|
| 研究実績の概要 |
本研究は，固定カメラで授業中の教室全体を撮影した動画から各個人の集中度を評価するシステムを提案するものであり，大きく分けて①映像入出力部，②動作検出部，③集中度推定部の3つのパーツで構成される．まず，生徒個人の学習状態をはかる手段として，授業中に撮影した映像からOpenposeを用いて人物の検出を行い，姿勢や顔の向きなどの動作の情報から集中度を測定する．また，パフォーマンス評価を用いることで，客観的な評価を行うための指標を可視化している．
今回の実験では，久米島西中学校で行われた特別授業の映像を使用した．授業構成としては，スライドを用いた睡眠についての50分間の授業であり，座って話を聞く座学形式である．開始後30分は，講師が授業内容の説明を行い，後半20分ほどは，配布された用紙に各自で記入を行う構成となっている．この動画を対象に深層学習を用いたOpenposeにより動画に含まれる人物（生徒）の身体のみならず，顔や手，足などの18点のキーポイントを検出し，各人物に対し①顔の動き，②上半身の動き，③体の向きを推定し，各々，時系列の動作譜を生成する．
さらに，時刻tの学習者の総合的な集中度をC_l(t)，顔の動きの推移から得られる集中度をC_f(t)，上半身の動きの推移から得られる集中度をC_(t)，顔の左右の向きから得られる集中度をC_d(t)とし，C_(t) = C_l(t － 1) + C_f(t) + C_b(t) + C_d(t)を元に算出する．また，姿勢情報から算出された集中度と理解度に相関関係がはかるため，12個の選択肢から当てはまる答えを1つ選ぶ択一形式のテストを行った．その結果，左右の向き，上半身の向き，顔の向きの順で理解度との相関が高いことが明らかになった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
新型コロナウイルス感染症拡大により休校となったり，オンライン授業を行っているため，対面型授業を撮影することが出きませんでした．そのため，授業映像に基いた集中度の解析実験がやや遅れております．
|
| 今後の研究の推進方策 |
集中度推定部においては，顔の向きと上半身の向きには高い相関が見られたものの，１秒間の動作譜から相関を求めている．しかしながら，現実的により長い時間において集中をしていると考えられるため，長期集中パターンを推定する必要がある．そのため、複数の時系列データでの学習を可能にする手法の導入が有効であると考えられる．
また，今回聴講者は全員マスクを着用していた為，マスクを着用していない場合と比較し，人物のキーポイントを検出できないフレームが多く存在したため，欠損値として扱ったが，統計的な分析を導入し，補完処理を行う必要がある考えられる．
|
| 次年度使用額が生じた理由 |
新型コロナウイルス感染症拡大により休校となったり，オンライン授業を行っているため，予定通り研究活動が出きませんでした．そのため，研究費が適切に執行されず，本研究を1年間延長しています．
使用計画としまして，広範囲の教室にも対応するため高解像度の広角カメラと、現地での観測データの確認及びテスト実験用としてノートPCを購入する．また，幅広い分野の専門家による評価やコメント，そして学術交流を行うため，国内外の学会に参加し，本研究成果を発表する予定である．
|
