Real-time Visualization of Comprehension from Emotional Responses that Creates a Paradigm Shift in Individually Optimized Learning

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K20853
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 9:Education and related fields
• Research Institution: Nagaoka National College of Technology
• Principal Investigator: Tsuchida Yasuko 長岡工業高等専門学校, 一般教育科, 教授 (30455125)
• Co-Investigator(Kenkyū-buntansha): 大森 理聡 長岡工業高等専門学校, 一般教育科, 准教授 (30707386) ; 外山 茂浩 長岡工業高等専門学校, 電子制御工学科, 教授 (60342507)
• Project Period (FY): 2020-07-30 – 2023-03-31
• Keywords: 生体信号 / 多次元解析

Outline of Final Research Achievements

This study aimed to develop a system to visualize the degree of comprehension while learning based on changes in learners' biometric information in real time. Participants watched English video materials of different difficulty levels, and their facial expression, surface temperature, pulse wave, gaze, and skin conductance were measured during the experiment. Among these data, facial surface temperature, pulse wave, and skin conductance were analyzed focusing on their correlation with comprehension. The higher the subjective evaluation of comprehension, the lower the value of the frequency considered to be a heartbeat, the lower the number of surges in skin conductance, and the lower the gradient of facial surface temperature. These biometric data were shown to have the potential to serve as indicators of comprehension estimation.

Free Research Field

コミュニケーション

Academic Significance and Societal Importance of the Research Achievements

本研究では学習時の生体情報に注目し，その変化を解析することで，学習に対する即時的な理解度を推定することを目指した。本研究の成果により、その学習者が今あると考えられる予想学習状態を即時的に知ることが可能になり、従来のテスト形式等とは異なる、全く新たな理解度の判定手法が提供されることとなる。学習状況に応じて個別最適化された指導法の開発や、英語力向上の鍵となる未知の問題を発見する手掛かりとなることが考えられ、英語教育の分野に対する貢献だけでなく、新たな学問分野や産業に発展する可能性が大いに期待できると考えられる。