2021 Fiscal Year Research-status Report
A study on interactive class support system that quantifies learning effect using non-verbal information
| Project/Area Number |
20K03099
|
|---|
| Research Institution | Hokkaido Information University |
|---|
Principal Investigator |
守 啓祐 北海道情報大学, 情報メディア学部, 教授 (10200362)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 授業支援システム / IoTシステム / 機械学習 |
|---|
| Outline of Annual Research Achievements |
近年，コンピュータの高性能化と音声や画像解析の技術の高度化により様々な実時間処理が可能となっている．一方，大学等の高等教育の現場において，受講者一人一人に特化したきめの細かい教授法が求められている．そのため，受講者の顔画像や動作を認識し，各受講者ごとに現在の受講状況とポートフォリオを実時間で参照できるようにし，きめの細かい教授法を実現する方法について検討を行う．この知見を用いて，教育方法と学習評価を検討し，効果の高い教育方法を選択し，e-learning等でシステム化出来る部分の省力化を図りつつ，対人で対応するほうが効率の高い点を洗い出し，バランスの取れた高い教育効果を持った教授法を実現できると予想される．
以上の目的のため，観測システムを作成するための機器群を動作させるための最適な機器の構成について検討を行った．まず，カメラをコンピュータから操作可能にするプログラムを作成するため，まずは手持ちの機器からテスト映像の収録を行い検討を行った．カメラは，検出する対象である映像をビデオ信号で接続し，そのカメラを制御するためネットワーク経由で接続し制御プログラムと指定する場所の画像が入力できるシステムの試作を進めている．具体的には制御用のIoT機器とアクチュエータとしてサーボモータの動作の試作を進めている．これらを制御するために，ビデオ入力用のビデオインターフェースを導入したコンピュータを既存のPC上に試作した．まずは画像処理に適したビデオカード，十分に動作させられる電源部を整備していった．平行して，画像の入力機器においてオフラインで処理が出来る機器を利用して，画像処理の最適化について検討を行った．ソフトウエアとしてはOpenCVベースで作成を行ったが，自然な直観的な操作を進めるためIntel RealSense（リアルセンス）テクノロジーを用いたシステムについて検討を進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
授業支援システムであるので，行われているゼミや授業の画像を利用して検討を行う予定であったが，交付初年度から新型コロナウイルスの感染の広がり,そのまま次年度も継続し，文部科学省の通達により，初年度対面ではなく，通常の授業を遠隔授業で実施することが推進されたため当初の予定の方法では授業風景の画像収集が困難なため，対応が必要となった．テストシステムを試作することは問題がなかったが，当初予定していた作業時間が，全作業量に占める作業のエフォートが，本業の作業量の莫大な増加により対処を余儀なくされることとなった．そのため研究作業のために予定した時間を十分にとることができなかった．また，研究調査のために国内外の研究機関や，展示会，セミナー等で情報収集予定であった国内でも移動規制が進み，国外はほぼ全く現地で参加することができなくなった．リモートでの参加を各種試みているが，残念ながら開発や研究途中の事例は，記録が残るような会合で話すことが困難であるので何らかの対策が必要であると感じた．試作の機器に要素要素については，テスト環境として当初予定していたゼミ等も遠隔授業になったので，教室等で実施する人数の多いサンプルの収集ができなかった．加えて，ビデオ会議システムの画像の収録分析となるので，顔画像をクローズアップした画像となりがちであるため，目の動き等は検出しやすい利点はあるが，大まかな体動については収録できないことが多く，こちらも何らかの調整が必要であることが分かってきた．また，当初予定していたより，画像処理等の処理量が多く解析システムの能力の向上が必要であることが明らかとなってきた．一方，そのためのシステムを作成するためのコンピュータ部品が，半導体工場の事故や，米中の貿易関係の対立のため，前年度から継続して、品薄になり価格も高騰して入手が困難な状況が続いている．
|
| Strategy for Future Research Activity |
新型コロナウイルスに対応するための社会状況を勘案して，適切な対応をとることは不可欠であるので予定された項目を現実的な対応で順次遂行していきたい．
今後，要素技術の検証を行っている機器を調整し大まかな教室の三次元的な形状の計測を行うことを遂行したい．半導体不足による、必要となる機器は適宜入手の容易な機器への変更を行って構成したい。次に全体的な画像から受講者の顔画像領域を高解像度カメラで記録し検出を行う．教室全体の画像から大まかな３次元的な部屋の形状を推定し，人物の存在を検出できるようにする．検出をし各々の受講者の顔画像を切り出し，顔画像認識を行い事前に用意している顔画像つき受講者名簿と比較をし，受講者を特定する．特定した受講者の動作を時系列で記録し，その行動から受講者の受講状況の推定を行う．この検出した特徴点より顔の動きと顔の画像から授業への参加の度合いを推定する．推定のためには顔の動きを検出された目の画像から視線の方向を推定し，講義時に必要となる資料のある机上，教授者および黒板等の資料への視線の割合と注視する時間のパターンを推定し，授業への集中度合いを推定する．
続けて，３年度目には，まとめとして認識には名簿の顔画像の基底関数を主成分分析と独立成分分析を用いて学習させることと並行して認識を行う機器の調整を行う．この入力した画像の基底関数への変換を行い，その係数を特徴ベクトルとする．この特徴ベクトルを画像データベースに登録されている特徴と照合し認識を行う．認識には，まず基本的なユークリッド距離を用いる．認識に問題が生じた場合は，特徴の作成特徴ベクトルへの変換そしてその比較のための照合法の検討を行という順で研究を進める予定である．
|
| Causes of Carryover |
新型コロナウイルスの関係で、解析する対象の授業が遠隔授業になったため、収録するための人件費および雑費を計上できなかった。また、それに関連して、研究調査のための旅費が計上できなかったため、未使用額が生じた。
このため、未執行分を次年度に執行することとし、未使用額はその経費に充てることとしたい。
|
Research Products
(2 results)
