• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Multimodal analysis using pen input data and gaze data in science and mathematics e-learning

Research Project

Project/Area Number 23K17589
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 9:Education and related fields
Research InstitutionNagoya University

Principal Investigator

中村 泰之  名古屋大学, 教養教育院, 教授 (70273208)

Project Period (FY) 2023-06-30 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Keywords視線計測 / 思考過程 / 理数系eラーニング / 手書きノート分析 / 視線データ分析
Outline of Research at the Start

理数系分野のオンラインテストの解答データは、立式、計算、検討などの思考過程を経て得られた「解答結果」であるので、解答に至るまでの「思考過程」を分析することが重要である。これまで申請者が実施してきた、どのような誤答を経て正答に到達したのかという「解答過程」の分析を踏まえ、本研究では、問題文をどう解釈しているかを視線データにより明らかにし(問題解釈の分析)、どのように解法を適用しているかをノートに記述したペン入力データにより明らかにする(解法適用の分析)ことによる、マルチモーダルなラーニングアナリティクス(LA) の手法を確立し、それにより「思考過程」を明らかにすることを目的とする。

Outline of Annual Research Achievements

理数系分野のオンラインテストの解答データは、立式、計算、検討などの思考過程を経て得られた「解答結果」であるので、解答に至るまでの「思考過程」を分析することが重要である。これまで申請者が実施してきた、どのような誤答を経て正答に到達したのかという「解答過程」の分析を踏まえ、本研究では、問題文をどう解釈しているかを視線データにより明らかにし(問題解釈の分析)、どのように解法を適用している
かをノートに記述したペン入力データにより明らかにする(解法適用の分析)ことによる、マルチモーダルなラーニングアナリティクス(LA)の手法を確立し、それにより「思考過程」を明らかにすることを目的とする。
研究期間初年度では、問題文をどう解釈しているかを視線データにより明らかにする、問題解釈の分析を行った。具体的には、研究協力者を募り、数学の文章題(確率分野)に取り組んでもらい、どのように文章を読み、その結果、問題の正誤はどうであったか、また、誤答であった場合、文章を読み返すことで、どのように間違いに気がついているかを分析した。分析にあたっては、問題文を意味のあるブロックに分け、いつ、どのブロックに視線が向けられたかを把握するための、可視化する手法の研究をまず行った。
その結果、注視情報を可視化するヒートマップに、時間情報(ヒートマップの時間変化)を加えるため、移動平均の考え方を応用し、一定時間の「タイムウィンドウ」内に注視した箇所のヒートマップを作成する際、タイムウィンドウをずらしながらヒートマップを作成する、「移動ヒートマップ」という可視化手法を提案した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初、3課題に分けて研究を遂行していく予定であった。つまり、第1課題「視線データを用いたオンラインテスト問題文解釈の分析」、第2課題「ペン入力データを用いたオンラインテスト解答過程の分析」、第3課題「視線データとペン入力データを融合したマルチモーダルラーニングアナリリティクスの手法の確立とそれによる思考過程の分析」である。このうち、初年度に第1課題に関する、視線計測を用いた問題解釈の分析について、視線計測データの新たな可視化手法(移動頻度を用いた時系列ヒートマップ)を提案することにより、一定の成果を得ることができた。また、第2課題のペン入力データの分析については、以前、取得したペン入力データを用いて、最終的なノートのデータだけでなく、ノート作成過程で消去された箇所に焦点を当てるなど、分析の手法を検討中であり、初年度で、第1課題と、第2課題の一部に取り組めた。

Strategy for Future Research Activity

当初、3課題に分けて研究を遂行していく予定であった。初年度に行った第1課題「視線データを用いたオンラインテスト問題文解釈の分析」に続き、今年度は、第2課題としての「ペン入力データを用いたオンラインテスト解答過程の分析」、第3課題「視線データとペン入力データを融合したマルチモーダルラーニングアナリリティクスの手法の確立とそれによる思考過程の分析」を行う予定である。具体的には、デジタルペン入力によりタブレット上に思考過程を記述した手書きノートを提出することのできる機能を用いて、ペン入力データから、筆記速度、消去回数、筆記停止時間など、有効な特徴量を特定し、解答データとペン入力データの特徴量との関係性の精査を行うと同時に、データから筆記の様子を再現し、筆記の全体像を把握しながら、解答過程の特徴を明らかにしていく。また、視線計測による問題上の注視箇所と、それが計算ノート作成にどのように反映しているかを明らかにし、文章題においては、問題文の可視化(図形描画、数式化)が正しく行われているか、及び、それが正誤評価にどう関係しているかを明らかにする。これにより、視線データ分析と、ペン入力データの両面からのマルチモーダルなLA手法を確立し、思考過程の特徴を整理していく。

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (7 results)

All 2024 2023

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (6 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Visualization of Penstroke Data and Estimation of Levels of Confidence for Online Math Tests2023

    • Author(s)
      藤本 和伶、中村 泰之
    • Journal Title

      Computer & Education

      Volume: 54 Issue: 0 Pages: 34-41

    • DOI

      10.14949/konpyutariyoukyouiku.54.34

    • ISSN
      2186-2168, 2188-6962
    • Year and Date
      2023-06-01
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] STACK問題タイプの解答データ分析手法の検討2024

    • Author(s)
      中村泰之, 樋口三郎, 吉冨賢太郎, 宮崎佳典, 中原敬広, 川添充, 福井哲夫, 白井詩沙香
    • Organizer
      Moodle Moot 2024
    • Related Report
      2023 Research-status Report
  • [Presentation] Network analysis of solution processes in mathematics online tests2024

    • Author(s)
      Asahi Kurihara, Yasuyuki Nakamura
    • Organizer
      International Meeting of the STACK Community 2024
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Classification of Answers in Math Online Tests by Visualizing Graph Similarity2024

    • Author(s)
      Saburo Higuchi, Yasuyuki Nakamura
    • Organizer
      The 14th International Learning Analytics and Knowledge Conference
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Visualization of Knowledge Map based on STACK Answer Data2023

    • Author(s)
      Lilin Wang, Yasuyuki Nakamura, Takahiro Nakahara
    • Organizer
      International Meeting of the STACK Community 2023
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 数学オンラインテストにおける解答の推移の三次元可視化と分析2023

    • Author(s)
      高田知樹,中村泰之
    • Organizer
      第48回教育システム情報学会全国大
    • Related Report
      2023 Research-status Report
  • [Presentation] 第48回教育システム情報学会全国大2023

    • Author(s)
      篠田有史,中村泰之
    • Organizer
      第48回教育システム情報学会全国大会
    • Related Report
      2023 Research-status Report

URL: 

Published: 2023-07-04   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi