2011 Fiscal Year Annual Research Report
Web教育における表情・動きを用いた理解度予測システムの開発
| Project/Area Number |
22500945
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
足達 義則 中部大学, 経営情報学部, 教授 (00115669)
|
|---|
| Keywords | 教育工学 / e-ラーニング / 個人認証 / 理解度予測 / 生体情報 |
|---|
| Research Abstract |
Web教育で重要となる"なりすまし"防止のための個人認証については、平成22年度でほぼ出来上がったので、平成23年度は理解度予測のための基礎研究を前年度に引き続いて行った。前年度の結果から、脳血流が集中度と相関すること、表情や動作においては、理解できないときには口や首を動かすなどの余計な動きが多くなること、特に瞬きの回数が増加することが分かった。これから、外見からの理解度判断の可能性を得たので、平成23年度は計数化が可能な瞬きの頻度について検討を行った。前年度は2台のビデオカメラで学習者の表情や動きを撮影し、これをもとに瞬きの回数を測定したが、Web学習に乗せるためにはリアルタイムで自動検出する必要があり、そのためのシステム開発を行った。
開発にはC++とOpenCVを用いて、液晶ディスプレイの下端に取り付けたUBS経由のWebカメラから顔画像を取り込み(30fps)、顔領域をOpenCvの顔検出器を用いて取り出した。その画像をもとに、目の存在領域を絞り込み目検出器を用いて右目の抽出を行った。その領域での濃度差分を取り目が閉じているかどうかを判定した。完全に瞼が閉じられた画像とはならないため、閾値でゆとりを持たせた。また、眼鏡の影響で目が検出できない時もあり、その時はすべての処理を繰り返すためリアルタイムで全てのフレーム処理ができない状況が発生した。ただし、1回の瞬きが複数フレームにまたがるため、1フレーム落としても処理可能ではある。
上記システムを用いて、瞬きの頻度を数学問題の解答、アニメ映像の鑑賞(嫌いなものと好きなもの)、読書(難しい文章理解)の3つのケースについて測定し、アンケートと対比させることにより理解度との関係を調べた。数学問題の解答では、考えている間よりも解けた時に頻度が増加し、集中度と瞬き頻度が関係することを確かめることができた。アニメ映像の鑑賞では、好きなものと嫌いなもので大きな変化はなく、受け身での頻度変化は小さいことが判明した。読書でも集中度との相関を示唆する結果を得ることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
個性豊かな表情や動作の数的評価が難しいため、瞬きの頻度に限定する必要性があること。眼鏡に環境が映り込んで瞬きの検出が難しいこと。および、集中度と瞬き頻度の相関の存在は判明したが、理解して集中が途切れたのかどうかを別に考える必要がでてきたことなどが影響してやや遅れ気味である。
|
| Strategy for Future Research Activity |
平成24年度は、最終年であるので一応の成果をあげられるように、眼鏡等にも対応できる瞬き検出の頑健化を図る。これにより、集中度を測定することが可能となる。さらに、集中度だけでなく、理解できた時の喜びを瞳孔径から推測できるようにする。医学の分野では瞳孔径を近赤外線カメラで測定しているが、一般のカメラでできる方法を模索する。これが完成すれば、集中度と理解度を同時に測定することが可能となり、当初の目的以上の成果を上げることができる。
|
