• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Real-time Visualization of Comprehension from Emotional Responses that Creates a Paradigm Shift in Individually Optimized Learning

Research Project

Project/Area Number 20K20853
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 9:Education and related fields
Research InstitutionNagaoka National College of Technology

Principal Investigator

Tsuchida Yasuko  長岡工業高等専門学校, 一般教育科, 教授 (30455125)

Co-Investigator(Kenkyū-buntansha) 大森 理聡  長岡工業高等専門学校, 一般教育科, 准教授 (30707386)
外山 茂浩  長岡工業高等専門学校, 電子制御工学科, 教授 (60342507)
Project Period (FY) 2020-07-30 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Keywords生体信号 / 多次元解析 / 多次元データ解析 / 視線計測 / 脳波
Outline of Research at the Start

理解度の可視化を実現するため、e-learningを想定した英語教材をPC上で学習し、学習中の表情・姿勢・心拍数・体温・視線・脳波・脳血流量を計測する。得られたデータを仮想空間上にマッピングし、「理解できている」という回答に関連付けられた群を理解度が高い群としてパターン定義する。新たに取得されたデータを用いてパターン分類を行い、適切な群に分類されるかどうかを検証する。

Outline of Final Research Achievements

This study aimed to develop a system to visualize the degree of comprehension while learning based on changes in learners' biometric information in real time. Participants watched English video materials of different difficulty levels, and their facial expression, surface temperature, pulse wave, gaze, and skin conductance were measured during the experiment. Among these data, facial surface temperature, pulse wave, and skin conductance were analyzed focusing on their correlation with comprehension. The higher the subjective evaluation of comprehension, the lower the value of the frequency considered to be a heartbeat, the lower the number of surges in skin conductance, and the lower the gradient of facial surface temperature. These biometric data were shown to have the potential to serve as indicators of comprehension estimation.

Academic Significance and Societal Importance of the Research Achievements

本研究では学習時の生体情報に注目し,その変化を解析することで,学習に対する即時的な理解度を推定することを目指した。本研究の成果により、その学習者が今あると考えられる予想学習状態を即時的に知ることが可能になり、従来のテスト形式等とは異なる、全く新たな理解度の判定手法が提供されることとなる。学習状況に応じて個別最適化された指導法の開発や、英語力向上の鍵となる未知の問題を発見する手掛かりとなることが考えられ、英語教育の分野に対する貢献だけでなく、新たな学問分野や産業に発展する可能性が大いに期待できると考えられる。

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (4 results)

All 2023 2022 2021 2020

All Journal Article (1 results) Presentation (3 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Estimation of English Proficiency by Eye Gaze and EEG Analysis in English Reading Using Self-Organizing Maps2021

    • Author(s)
      八子 拓也、下田 明、八子 亮太、和田 政輝、土田 泰子、外山 茂浩
    • Journal Title

      The Transactions of Human Interface Society

      Volume: 23 Issue: 4 Pages: 397-406

    • DOI

      10.11184/his.23.4_397

    • NAID

      130008120501

    • ISSN
      1344-7262, 2186-8271
    • Year and Date
      2021-11-25
    • Related Report
      2021 Research-status Report
  • [Presentation] 動画を用いた英語学習時の理解度の推定2023

    • Author(s)
      田上雄也、和田政輝、土田泰子、外山茂浩
    • Organizer
      第28回高専シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 課題遂行時の集中度及び理解度の評価2022

    • Author(s)
      小日向慶人、和田政輝、土田泰子、外山茂浩
    • Organizer
      第27回高専シンポジウムオンライン
    • Related Report
      2021 Research-status Report
  • [Presentation] Visualization of English Language Ability by Self-Organizing Map Using Biological Signals2020

    • Author(s)
      Yasuko Tsuchida, Shigehiro Toyama, Michiaki Omori
    • Organizer
      5th STI-Gigaku
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2020-08-03   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi