2017 Fiscal Year Research-status Report
学生の振る舞い検出による授業雰囲気の推定に関する研究
| Project/Area Number |
16K00502
|
|---|
| Research Institution | Ariake National College of Technology |
|---|
Principal Investigator |
菅沼 明 有明工業高等専門学校, 創造工学科, 教授 (70235852)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
森山 英明 有明工業高等専門学校, 創造工学科, 講師 (00633009)
下園 幸一 鹿児島大学, 学内共同利用施設等, 准教授 (20253510)
吉武 春光 西南学院大学, 商学部, 教授 (30182744)
松野 良信 有明工業高等専門学校, 創造工学科, 准教授 (90259961)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 授業雰囲気の推定 / 教師の動作推定 / 学生の状態推定 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
学生の動作を分類するシステムの構築に関して、Raspberry Piを使用して教室内の机の上に置き、その机につく学生を撮影するシステムを試作した。さらにこのシステム上で動作する顔の向き判定方法を検討した。想定を大きく外れる場合は上手く判定できないものの、大まかな動作を推定することが可能であることが分かった。平成30年度以降に想定外への対応を考えていくことになる。これと並列して、教室の前方から数名の学生を撮影して、個々の学生の動きを検出する方法に関しては、なかなか難しいところがあり、平成29年度まででは検出アルゴリズムには至っていない。
教壇から学生側を撮影した映像（複数の学生が写っている画像）から学生を切り出し、その学生の顔の向きを推定する手法の検討を行った。これは、いろいろな方向を向いている顔の画像をディープラーニングしたシステムを使用して推定している。良好な精度で推定できるようであるが、平成29年度では検証までは至っていない。平成30年度の早期に行うべき内容と考えている。
授業を行う教師の動作の分類については、本研究に先立って行ってきた研究結果を利用する方針で進めてきた。これに1動作を新たに付け加え、4動作の分類が可能であることの感触を得た。それぞれの動作の検出条件について、安定的に動作する検出法の構築を行っている。平成29年度まででは、検出法の構築までには至っていない。
オフライン実験システムに関して、撮影した映像を読み込み画像処理するシステムを作成している。カメラからの入力の変わりに，メディアファイルからの入力で実験できるため、撮影した講義映像を何度も利用できる実験可能である。平成29年度までにオフライン実験システムを実装し、それを使用して撮影→処理実験を行っている。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
平成28年度から行ってきた授業を受ける学生の動作を検出する手法に関して、複数の手法を平行的に試してきたが、推定精度のよい手法をなかなか見いだせていない。そのため、平成29年度にはディープラーニングの手法を取り入れて推定法を検討してきたが、その手法の検証は平成30年度に持ち越しとなっている。
また、教師の動作検出に関しても、以前検討した動作以外で必要そうな動作を決めたが、その検出方法に関しては検討途中である。そのため、進捗は遅れていると判断している。黒板などに学生が解答を書くような授業の場合を考え、複数人の検出者を追跡する手法の検討は終えたが、各追跡者の姿勢の推定法を検討する必要がある。
|
| Strategy for Future Research Activity |
この研究は、教師の動作の推定と学生の受講状況の推定がキーポイントである。計画段階では、まず教師に関する推定法を構築することにしていたが、学生の受講状況の推定の問題は難しいものであるので、計画に先立って、初年度から検討を開始した。
この選択は妥当であったと考えるが、そのため教師の動作推定に関する検討が遅れている。また、学生の状況推定に関しても問題自身が難しいため徐々にしか進んでいない。平成30年度は最終年度であるので、まずはこれまでの検討内容の検証から始め、プロトタイプシステムを使用しながらシステムの構築を進めていく。
|
| Causes of Carryover |
平成29年度の物品費に関して、研究の進捗に合わせて購入部品を調整しながら執行する予定であったため、物品費に使用予定の分として若干の次年度使用額が生じている。
|
