2019 Fiscal Year Research-status Report
Study of Atmosphere and Its Application to EdTech
| Project/Area Number |
19K12107
|
|---|
| Research Institution | Kanagawa Institute of Technology |
|---|
Principal Investigator |
松本 一教 神奈川工科大学, 情報学部, 教授 (40350673)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大須賀 昭彦 電気通信大学, 大学院情報理工学研究科, 教授 (90393842)
田中 哲雄 神奈川工科大学, 情報学部, 教授 (90727984)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 雰囲気 推定 / 感情推定 / 機械学習 / 学習ログ |
|---|
| Outline of Annual Research Achievements |
学習者の画像データから，学習への集中度や，学習コンテンツへの興味の度合いを推定する技術として，まず3つの独立した手法を開発した．第1の手法は，顔の画像データを直接利用する方法であり，深層学習による学習器に顔画像データを直接与えて推定する方式である．第2の手法は，顔画像から瞬きを検出した上で，その頻度から推定する方式である．従来技術に対して，瞬きの検出手法に特徴があり，顔の向きなどの影響を受けにくいことを特徴としている．第3の手法は，顔の動きのパターンに基づいている．顔の前後左右の時系列的な動きを画像データから検出し，事前に収集したパターンと照合することで推定する手法である．開発したシステムでは，カメラにより連続して動画を撮影し，短い時区間（30秒程度）毎に区切った上で，時区間上での集中度や興味の度合いをリアルタイムに推定することを可能とした．また，これら3つの方式を単独で用いるだけでなく，融合して用いることのできるシステムのプロトタイプを開発し，その有効性を実験により評価し，次年度以降で解決すべき課題を明らかにした．
学習者の学習状況を収集するため，解答範囲を制限した，固定の解答欄に書き込む形式の手法を開発した．この制限により，高速な解答解析が可能となった．解答欄への記入時刻や解答の正誤に加えて，キーボード操作数やページ移動の頻度など，学習者の学習出力データも収集できるシステムとして構築した．このシステムで収集したデータを用いて，学習者の理解度や集中度をリアルタイムに推定する方式を開発し，その精度を評価するなど有効性を検証し，課題を明確にした．
上記で開発した2種類のシステムの統合システムの開発を行い，その一部の実装を完了し，部分的な実験を行った．またこれらの開発と並行して，次年度以降も見越した実験用データの整備も行い，現実に近い実験ができる準備を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究全体は大きく2つの部分に分かれている．第1の部分では，主として顔画像データから学習者の学習時の集中度や，学習コンテンツへの興味度を推定する技術の開発である．ほぼ独立した3つの技術を開発して，多数決的に用いることで，適用範囲を拡大することができ，精度も一定の条件の下で向上することが判明した．本研究では通常の大学生の学習環境で容易に利用可能な環境を想定しているため，カメラを正面に1個だけ設置することを想定している．学習者の顔の向きや位置は，学習中に移動するため，単一カメラで収集する画像利用には限界がある．本研究では，顔が検出できない場合に対しても，検出できないという情報を積極的に利用して，その前後のデータを用いて推定する技術を開発することができた．これらの開発により，ほぼ当初計画通りの性能を実現できた．
第2の部分では，学習者の学習履歴を収集することで，集中度や理解度を推定する技術の開発を行った．学習履歴の収集方法の開発が課題であったが，解答形式に制限を設けることによる解決方法を開発することができた．この制限により，解答を単純な方法で解析するだけでデータ収集が可能となり，リアルタイムな推定技術が開発できた．これについても，ほぼ計画通りである．
上記の2つの方法を融合するシステム開発については，各々のシステムで集めるデータ連携の設計などに課題が残り，当初の計画よりも若干程度遅れ気味の状況である．
総合的には，当初計画に対して，大きな問題は生じておらず，ほぼ計画通りの順調な状況にあると判定できる．
|
| Strategy for Future Research Activity |
上記の概要および進捗状況で述べたように，本研究全体は2つの部分から構成されている．次年度以降においては，各々についての技術開発を進めていく．学習者の集中度や興味度などがより高い精度で推定できるようにすること，さらに推定できる状況を拡げていくことが課題であり，研究を集中させる．また，2つの方式を相補的に用いる方式の開発も進めていく．来年度では，そのためのデータ連携方式の開発に優先度を置いて研究を進めていく．また，集中度や興味度の変化に対して，その理由を探索する説明機能の開発にも力を入れる．
評価実験のための教材開発についても，他の開発と並行して進めていく．難易度を変えた教材作成などを整備して，学習者の状況に応じて自動的に対応する機能の実験もできるような環境を整備していく．
実用的な教育システムとしていくため，システムが収集するデータによって，学習者の集団を類似グループに分割する技術や，グループ毎に教材の推薦を行うレコメンデーション技術の開発も行っていく．このような技術を総合したシステム化を行い，できるだけ実際の環境に近い状況を構築して，総合的な有効性評価を行っていく．実際の大学授業の場においても，評価実験を行っていく計画としている．
|
| Causes of Carryover |
論文を提出して参加予定していた国際学会（米国，サンフランシスコ）が，コロナ感染症のためにオンライン開催となり，航空券費用や宿泊費などの旅費の支出が不要となり，計画と違いが生じた．当該年度中では，他の成果発表手段を見つけることができなかったため，次年度での使用となった．次年度以降に，改めて有効な成果発表の学会などを検討していく．
|
Research Products
(5 results)
