Construction of student observation system on mobile terminal

2020 Fiscal Year Final Research Report

• Project/Area Number: 17K00488
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Learning support system
• Research Institution: Ehime University
• Principal Investigator: Nakagawa Yuji 愛媛大学, データサイエンスセンター, 教授 (20227755)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: e-ラーニング / 受講者観察システム / 機械学習 / ニューラルネットワーク

Outline of Final Research Achievements

Focusing on Saccade, which is a type of eye movement that occurs when learners read sentences, in 2003 the fact that Saccade was observed when the learner was concentrating on learning and not Saccade when the concentration decreased. Therefore, we have been conducting research on the practical application of a "student observation system" that measures the degree of concentration in learning based on the presence or absence of Saccade during learning.
In the systems developed so far, the coordinates of the center of the black eye have been detected by image processing, but the amount of calculation is large. Therefore, we investigated a method for detecting the center of the black eye by machine learning, constructed a method for estimating the black eye region by semantic segmentation using U-Net, and were able to obtain the expected performance.

Free Research Field

教育工学

Academic Significance and Societal Importance of the Research Achievements

近年ｅ-ラーニングによる遠隔教育が教育機関や企業など各方面で用いられている。このような学習形態では、受講者はコンテンツに一方的にアクセスすることになり、学習効果を上げるには一定の集中度を保持しなければならない。そこで、受講者の学習への集中度を把握するために、眼球運動であるSaccadeの検出による『受講者観察システム』を提案し開発を行なってきた。受講者観察システムは学習者の集中度が落ちてきた時にアラートを発することができ、休憩を促したり学習を停止させることができる。このアウトプットを用いることで将来的には学習コンテンツ自体を制御することが可能となり、家庭教師のようなシステムの開発へとつながる。