2022 Fiscal Year Annual Research Report
A study on interactive class support system that quantifies learning effect using non-verbal information
| Project/Area Number |
20K03099
|
|---|
| Research Institution | Hokkaido Information University |
|---|
Principal Investigator |
守 啓祐 北海道情報大学, 情報メディア学部, 教授 (10200362)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 授業支援システム / IoTシステム / 機械学習 / 深層学習 / 行動分析 |
|---|
| Outline of Annual Research Achievements |
近年，コンピュータの高性能化と音声や画像解析の技術の高度化により様々な実時間処理が可能となっている．一方，大学等の高等教育の現場において，受講者一人一人に特化したきめの細かい教授法が求められている．そのため，受講者の顔画像や動作を認識し，各受講者ごとに現在の受講状況とポートフォリオを実時間で参照できるようにし，きめの細かい教授法を実現する方法について検討を行う．この知見を用いて，教育方法と学習評価を検討し，効果の高い教育方法を選択し，e-learning等でシステム化出来る部分の省力化を図りつつ，対人で対応するほうが効率の高い点を洗い出し，バランスの取れた高い教育効果を持った教授法を実現できると予想される．
以上の目的のため，観測システムを作成するための機器群を動作させるための最適な機器の構成について検討を行った．まず，カメラをコンピュータから操作可能にするプログラムを作成するため，まずは手持ちの機器からテスト映像の収録を行い検討を行った．カメラは，検出する対象である映像をビデオ信号で接続し，そのカメラを制御するためネットワーク経由で接続し制御プログラムと指定する場所の画像が入力できるシステムの試作を行った．具体的には制御用のIoT機器の試作を行った．これらを制御するために，ビデオ入力用のビデオインターフェースを導入したコンピュータを既存のPC上に試作した．まずは画像処理に適したビデオカード，十分に動作させられる電源部を整備していった．平行して，画像の入力機器においてオフラインで処理が出来る機器を利用して，画像処理の最適化について検討を行った．ソフトウエアとしては当初OpenCVベースで作成を行ったが，自然な直観的な操作を進めるためMediaPipeおよびOpenPoseを用いたシステムを試作しデータを蓄積し解析を進めている．
|
