2023 Fiscal Year Research-status Report
Multimodal analysis using pen input data and gaze data in science and mathematics e-learning
| Project/Area Number |
23K17589
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
中村 泰之 名古屋大学, 教養教育院, 教授 (70273208)
|
|---|
| Project Period (FY) |
2023-06-30 – 2025-03-31
|
| Keywords | 視線計測 / 思考過程 |
|---|
| Outline of Annual Research Achievements |
理数系分野のオンラインテストの解答データは、立式、計算、検討などの思考過程を経て得られた「解答結果」であるので、解答に至るまでの「思考過程」を分析することが重要である。これまで申請者が実施してきた、どのような誤答を経て正答に到達したのかという「解答過程」の分析を踏まえ、本研究では、問題文をどう解釈しているかを視線データにより明らかにし（問題解釈の分析）、どのように解法を適用している
かをノートに記述したペン入力データにより明らかにする（解法適用の分析）ことによる、マルチモーダルなラーニングアナリティクス(LA)の手法を確立し、それにより「思考過程」を明らかにすることを目的とする。
研究期間初年度では、問題文をどう解釈しているかを視線データにより明らかにする、問題解釈の分析を行った。具体的には、研究協力者を募り、数学の文章題（確率分野）に取り組んでもらい、どのように文章を読み、その結果、問題の正誤はどうであったか、また、誤答であった場合、文章を読み返すことで、どのように間違いに気がついているかを分析した。分析にあたっては、問題文を意味のあるブロックに分け、いつ、どのブロックに視線が向けられたかを把握するための、可視化する手法の研究をまず行った。
その結果、注視情報を可視化するヒートマップに、時間情報（ヒートマップの時間変化）を加えるため、移動平均の考え方を応用し、一定時間の「タイムウィンドウ」内に注視した箇所のヒートマップを作成する際、タイムウィンドウをずらしながらヒートマップを作成する、「移動ヒートマップ」という可視化手法を提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初、3課題に分けて研究を遂行していく予定であった。つまり、第1課題「視線データを用いたオンラインテスト問題文解釈の分析」、第2課題「ペン入力データを用いたオンラインテスト解答過程の分析」、第3課題「視線データとペン入力データを融合したマルチモーダルラーニングアナリリティクスの手法の確立とそれによる思考過程の分析」である。このうち、初年度に第1課題に関する、視線計測を用いた問題解釈の分析について、視線計測データの新たな可視化手法（移動頻度を用いた時系列ヒートマップ）を提案することにより、一定の成果を得ることができた。また、第2課題のペン入力データの分析については、以前、取得したペン入力データを用いて、最終的なノートのデータだけでなく、ノート作成過程で消去された箇所に焦点を当てるなど、分析の手法を検討中であり、初年度で、第1課題と、第2課題の一部に取り組めた。
|
| Strategy for Future Research Activity |
当初、3課題に分けて研究を遂行していく予定であった。初年度に行った第1課題「視線データを用いたオンラインテスト問題文解釈の分析」に続き、今年度は、第2課題としての「ペン入力データを用いたオンラインテスト解答過程の分析」、第3課題「視線データとペン入力データを融合したマルチモーダルラーニングアナリリティクスの手法の確立とそれによる思考過程の分析」を行う予定である。具体的には、デジタルペン入力によりタブレット上に思考過程を記述した手書きノートを提出することのできる機能を用いて、ペン入力データから、筆記速度、消去回数、筆記停止時間など、有効な特徴量を特定し、解答データとペン入力データの特徴量との関係性の精査を行うと同時に、データから筆記の様子を再現し、筆記の全体像を把握しながら、解答過程の特徴を明らかにしていく。また、視線計測による問題上の注視箇所と、それが計算ノート作成にどのように反映しているかを明らかにし、文章題においては、問題文の可視化（図形描画、数式化）が正しく行われているか、及び、それが正誤評価にどう関係しているかを明らかにする。これにより、視線データ分析と、ペン入力データの両面からのマルチモーダルなLA手法を確立し、思考過程の特徴を整理していく。
|
Research Products
(7 results)
