A study on interactive class support system that quantifies learning effect using non-verbal information

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K03099
• Research Institution: Hokkaido Information University
• Principal Investigator: 守 啓祐 北海道情報大学, 情報メディア学部, 教授 (10200362)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 授業支援システム / IoTシステム / 機械学習

Outline of Annual Research Achievements

近年，コンピュータの高性能化と音声や画像解析の技術の高度化により様々な実時間処理が可能となっている．一方，大学等の高等教育の現場において，受講者一人一人に特化したきめの細かい教授法が求められている．そのため，受講者の顔画像や動作を認識し，各受講者ごとに現在の受講状況とポートフォリオを実時間で参照できるようにし，きめの細かい教授法を実現する方法について検討を行う．この知見を用いて，教育方法と学習評価を検討し，効果の高い教育方法を選択し，e-learning等でシステム化出来る部分の省力化を図りつつ，対人で対応するほうが効率の高い点を洗い出し，バランスの取れた高い教育効果を持った教授法を実現できる．
以上の目的のため，観測システムを作成するための機器群を動作させるための最適な機器の構成について検討を行った．まず，カメラをコンピュータから操作可能にするプログラムを作成するため，まずは手持ちの機器からテスト映像の収録を行い検討を行った．カメラは，検出する対象である映像をビデオ信号で接続し，そのカメラを制御するため有線接続または無線接続でネットワーク経由で接続し制御プログラムと指定する場所の画像が入力できるシステムの試作を進めた．具体的には制御用のIoT機器とアクチュエータとしてサーボモータの動作の試作を進めた．これらを制御するために，ビデオ入力用のビデオインターフェースを導入したコンピュータを既存のPC上に試作した．まずは画像処理に適したビデオカード，十分に動作させられる電源部を整備していった．平行して，画像の入力機器においてオフラインで処理が出来る機器を利用して，画像処理の最適化について検討を行った．ソフトウエアとしてはOpenCVベースで作成を行ったが，自然な直観的な操作を進めるためIntel RealSense（リアルセンス）テクノロジーを用いたシステムについて検討を進めた．

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

授業支援システムであるので，行われているゼミや授業の画像を利用して検討を行う予定であったが，新型コロナウイルスの感染の広がりおよび，文部科学省の通達により，対面ではなく，通常の授業を遠隔授業をで実施することが推進されたため予定の方法では授業風景の画像収集が困難なため，対応が必要となった．テストシステムを試作することは問題がなかったが，当初予定していた作業時間が，全作業量に占める作業のエフォートが，本業の作業量の莫大な増加により対処を余儀なくされることとなった．そのため研究作業のために予定した時間を十分にとることができなかった．また，研究調査のために国内外の研究機関や，展示会，セミナー等で情報収集予定であったら国内でも移動規制が進み，国外はほぼ全く現地で参加することができなくなった．リモートでの参加を各種試みているが，残念ながら開発や研究途中の事例は，記録が残るような会合で話すことが困難であるので何らかの対策が必要であると感じた．試作の機器に要素要素については，ある程度作成することができたが，テスト環境として当初予定していたゼミ等も遠隔授業になったので，人数の少ない画像での収録は行ったが，教室等で実施する人数の多いサンプルの収集ができなかった．加えて，ビデオ会議システムの画像の収録分析となるので，顔画像をクローズアップした画像となりがちであるため，目の動き等は検出しやすい利点はあるが，大まかな体動については収録できないことが多く，こちらも何らかの調整が必要であることが分かってきた．また，当初予定していたより，画像処理等の処理量が多く解析システムの能力の向上が必要であることが明らかとなってきた．一方，そのためのシステムを作成するためのコンピュータ部品が，半導体工場の事故や，米中の貿易関係の対立のため，品薄になり価格も高騰して入手が困難な状況が続いている．

Strategy for Future Research Activity

新型コロナウイルスに対応するための社会状況を勘案して，適切な対応をとることは不可欠であるので予定された項目を現実的な対応で順次遂行していきたい．今後，要素技術の検証を行っている機器を調整し大まかな教室の三次元的な形状の計測を行うことを遂行したい．次に全体的な画像から受講者の顔画像領域を高解像度カメラで記録し検出を行う．教室全体の画像から大まかな３次元的な部屋の形状を推定し，人物の存在を検出できるようにする．検出をした各々の受講者の顔画像を切り出し，顔画像認識を行い事前に用意している顔画像つき受講者名簿と比較をし，受講者を特定する．特定した受講者の動作を時系列で記録し，その行動から受講者の受講状況の推定を行う．この検出した特徴点より顔の動きと顔の画像から授業への参加の度合いを推定する．推定のためには顔の動きを検出された目の画像から視線の方向を推定し，講義時に必要となる資料のある机上，教授者および黒板等の資料への視線の割合と注視する時間のパターンを推定し，授業への集中度合いを推定する．
続けて，三次元認識技術，顔画像認識技術を実環境に適用し検出された顔の方向情報と視線の推定情報の時間変化パターンを推定し，授業への没入度合いとの関係を明らかにしたい．３年度目には，まとめとして認識には名簿の顔画像の基底関数を主成分分析と独立成分分析を用いて学習させることと並行して認識を行う機器の調整を行う．この入力した画像の基底関数への変換を行い，その係数を特徴ベクトルとする．この特徴ベクトルを画像データベースに登録されている特徴を照合し認識を行う．認識には，まず基本的なユークリッド距離を用いる．認識に問題が生じた場合は，特徴の作成特徴ベクトルへの変換そしてその比較のための照合法の検討を行という順で研究を進める予定である．

Causes of Carryover

新型コロナウイルスの感染拡大により，移動を伴う調査研究および人の接触の可能性の高い研究協力者に支出する予定であった人件費・謝金を見合わせたため支出できなかった．また，研究調査のための出張等も移動の制限が行われているため，国内はもとより国外は全く行動できなかった．本年度も後れを取りもどすため実施計画はしているが，政府等からの要請に伴う社会情勢により現実に実施できるかどうかは不明確である．
物品費に関しては，当初購入予定であったコンピュータが１１月に発売されたが，CPUが大幅に変わって能力が上がることは予想されたが，過去の環境やソフトウエアが対応するかどうか不明確であった．若干の情報は出てきているが，現時点のロットの機器を購入するのは十分に使えるめどが立たないため次年度に見送った．