2018 Fiscal Year Annual Research Report
A Study on Estimating Situation of Classroom based on Detecting Students' Behavior
| Project/Area Number |
16K00502
|
|---|
| Research Institution | Ariake National College of Technology |
|---|
Principal Investigator |
菅沼 明 有明工業高等専門学校, 創造工学科, 教授 (70235852)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
森山 英明 有明工業高等専門学校, 創造工学科, 講師 (00633009)
下園 幸一 鹿児島大学, 総合科学域共同学系, 准教授 (20253510)
吉武 春光 西南学院大学, 商学部, 教授 (30182744)
松野 良信 有明工業高等専門学校, 創造工学科, 准教授 (90259961)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 授業雰囲気の推定 / 教師の動作推定 / 学生の状態推定 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
学生の動作を分類するシステムの構築に関して，学生が居眠りをしているかどうかを判定する手法の構築を行った．前年度は学生1人に1台のRaspberry Piを用意し，その上で動作するシステムを検討したが，今年度は1台のカメラで教室の前方から複数人(おおむね4，5人)の学生を撮影し，写っている学生を切り出して居眠り判定を行う手法を検討した．写っている学生の切り出しに関しては，システムの動作の初期において学生が写りそうな領域をシステムに教えてやり，そこを監視することで行うこととした．さらに，正面顔の検出を利用して，下を向いた場合の条件を構築し，下を向いている状態が続くことで居眠りと判定する手法を構築した．構築した判定法を授業映像に適用し評価したところ，居眠りの開始は検出できないものの，一定時間経過した段階で大部分の居眠り状態を検出できることが判明した．
授業を行う教師の動作の分類については，前年度に続き，検出する動作の種類を増やす検討を行った．今年度は距離センサを用いて教師の姿勢の奥行方向の情報を取り出すことを検討し，「指差し動作」を行っている状態を検出することを試みた．受講生を指さして質問に答えてもらう状況は，学生の授業への参加意識を高めるために有効な動作である．この動作を検出するのは授業の状況を調べるうえで重要である．検出方法に従って，簡易的なシステムを作成した．教壇に立つ教師での検証は行えていないが，実験室の環境では指差していることをおおむね検出できている．
畳み込みニューラルネットワークを利用して姿勢の推定を行うことも検討した．授業を受ける学生を最初から対象にするのは難しいものがあると考え，以前から行っていた手形状（指の曲げ伸ばし）の推定を対象にシステムの検討を行った．これに関して，推定精度はあまり良い値とはなっていないが，検討の余地はあると考えている．
|
