• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2011 Fiscal Year Annual Research Report

Web教育における表情・動きを用いた理解度予測システムの開発

Research Project

Project/Area Number 22500945
Research InstitutionChubu University

Principal Investigator

足達 義則  中部大学, 経営情報学部, 教授 (00115669)

Keywords教育工学 / e-ラーニング / 個人認証 / 理解度予測 / 生体情報
Research Abstract

Web教育で重要となる"なりすまし"防止のための個人認証については、平成22年度でほぼ出来上がったので、平成23年度は理解度予測のための基礎研究を前年度に引き続いて行った。前年度の結果から、脳血流が集中度と相関すること、表情や動作においては、理解できないときには口や首を動かすなどの余計な動きが多くなること、特に瞬きの回数が増加することが分かった。これから、外見からの理解度判断の可能性を得たので、平成23年度は計数化が可能な瞬きの頻度について検討を行った。前年度は2台のビデオカメラで学習者の表情や動きを撮影し、これをもとに瞬きの回数を測定したが、Web学習に乗せるためにはリアルタイムで自動検出する必要があり、そのためのシステム開発を行った。
開発にはC++とOpenCVを用いて、液晶ディスプレイの下端に取り付けたUBS経由のWebカメラから顔画像を取り込み(30fps)、顔領域をOpenCvの顔検出器を用いて取り出した。その画像をもとに、目の存在領域を絞り込み目検出器を用いて右目の抽出を行った。その領域での濃度差分を取り目が閉じているかどうかを判定した。完全に瞼が閉じられた画像とはならないため、閾値でゆとりを持たせた。また、眼鏡の影響で目が検出できない時もあり、その時はすべての処理を繰り返すためリアルタイムで全てのフレーム処理ができない状況が発生した。ただし、1回の瞬きが複数フレームにまたがるため、1フレーム落としても処理可能ではある。
上記システムを用いて、瞬きの頻度を数学問題の解答、アニメ映像の鑑賞(嫌いなものと好きなもの)、読書(難しい文章理解)の3つのケースについて測定し、アンケートと対比させることにより理解度との関係を調べた。数学問題の解答では、考えている間よりも解けた時に頻度が増加し、集中度と瞬き頻度が関係することを確かめることができた。アニメ映像の鑑賞では、好きなものと嫌いなもので大きな変化はなく、受け身での頻度変化は小さいことが判明した。読書でも集中度との相関を示唆する結果を得ることができた。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

個性豊かな表情や動作の数的評価が難しいため、瞬きの頻度に限定する必要性があること。眼鏡に環境が映り込んで瞬きの検出が難しいこと。および、集中度と瞬き頻度の相関の存在は判明したが、理解して集中が途切れたのかどうかを別に考える必要がでてきたことなどが影響してやや遅れ気味である。

Strategy for Future Research Activity

平成24年度は、最終年であるので一応の成果をあげられるように、眼鏡等にも対応できる瞬き検出の頑健化を図る。これにより、集中度を測定することが可能となる。さらに、集中度だけでなく、理解できた時の喜びを瞳孔径から推測できるようにする。医学の分野では瞳孔径を近赤外線カメラで測定しているが、一般のカメラでできる方法を模索する。これが完成すれば、集中度と理解度を同時に測定することが可能となり、当初の目的以上の成果を上げることができる。

  • Research Products

    (3 results)

All 2012 2011

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (1 results)

  • [Journal Article] Discrimination of True Defect and Indefinite Defect with Visual Inspection Using SVM2011

    • Author(s)
      Yuji Iwahori, Kazuya Futamura, Yoshinori Adachi
    • Journal Title

      Lecture Notes in Artificial Intelligence

      Volume: 6884 Pages: 117-125

    • Peer Reviewed
  • [Journal Article] Preliminary Research for System Construction that Judges Understanding Level from Learner's Expression and Movement2011

    • Author(s)
      Yoshinori Adachi, Masahiro Ozaki and Yuji Iwahori
    • Journal Title

      Lecture Notes in Artificial Intelligence

      Volume: 6884 Pages: 80-88

    • Peer Reviewed
  • [Presentation] 習熟度別教材と個別学習メモを用いたWeb学習支援機能の開発2012

    • Author(s)
      宇佐美裕康
    • Organizer
      教育システム情報学会特集論文研究会
    • Place of Presentation
      大阪工業大学
    • Year and Date
      2012-03-17

URL: 

Published: 2013-06-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi