Identification of latent skill dynamics and visualization of learning effect by educational data mining

• Project/Area Number: 19H01728
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Kisarazu National College of Technology
• Principal Investigator: 大枝 真一 木更津工業高等専門学校, 情報工学科, 教授 (80390417)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥12,350,000 (Direct Cost: ¥9,500,000、Indirect Cost: ¥2,850,000); Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000); Fiscal Year 2022: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000); Fiscal Year 2021: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2020: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2019: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
• Keywords: 教育データマイニング / 潜在的スキル構造 / プログラミング教育 / 学習中のログデータ / Skill Modeling / Student Modeling / Q-matrix / 学習効果の可視化 / 初等プログラミング教育 / 機械学習 / 潜在スキル構造

Outline of Research at the Start

ビジネスや医療の分野ではデータマイニングの研究が盛んである．しかし，教育の分野においては，膨大な試験結果とログデータの蓄積というビッグデータがあるにもかかわらず，機械学習を用いて潜在的スキル構造を抽出するデータマイニング手法は確立していない．そこで，試験結果と学習過程のログデータから，知識を修得するために必要な潜在的スキル構造を自動抽出するデータマイニング技術を開発する．調査対象はプログラミング教育とする．プログラミング言語は修得の進度が顕著に現れる．なぜ，このような事象が生じるのか解明できれば，IT技術者の早期育成の一助となり，日本国内のIT人材不足を解消できると考えるからである．

Outline of Annual Research Achievements

近年，実用的なITS(Intelligent Tutoring System)や，LMS(Learning Management System)が普及し，実際の教育現場でe-Learningシステムが活用されている．ITSやLMSによって，学生の試験結果や学習過程のログデータを保存することが容易になった．EDM(Educational Data Mining)では，これらの膨大な教育関連のデータから，いかにして意味のある情報を抜き出すかが研究の焦点となっており，ビッグデータ研究の発展に伴って近年急速に注目されている． 特に，本研究では，調査対象をプログラミング教育とし，ITS，LMSサーバに蓄積された膨大な試験結果と学習過程のログデータおよびソースコードから，時間変化するスキルの形成過程を可視化し，潜在的スキルダイナミクスを同定することを目的としている． これまでに我々は，初等プログラミングの授業で取得されたログデータとソースコードを解析し，授業に追従できていない学生の抽出を行う手法を提案した．また，学習者のモデル化である学生モデリング(Student Modeling)で一般的に用いられるKnowledge Tracingの拡張を行った．この提案手法では，Convex Factorization Machinesを適用することで凸最適化が可能となり，高速化と推定精度の向上が可能となった．当該年度では，DeepFM and FiBiNETを組み合わせた学生モデリングを提案した．さらにKnowledge Tracingの精度と説明可能性を向上させるために，bi-directional RNNsを用いるとともに忘却の概念を項目反応理論に統合したモデルを提案した．

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] A student modeling method combining Deep Learning and forgetting models with Knowledge Tracing (2023)
  • Author(s): Oeda Shinichi、Hasegawa Shunichi
  • Journal Title: Procedia Computer Science Volume: 225 Pages: 1191-1200
  • DOI: 10.1016/j.procs.2023.10.107
  • Peer Reviewed
• [Journal Article] Student modeling considering learning behavior history with deep factorization machines (2023)
  • Author(s): Kakizaki Toma、Oeda Shinichi
  • Journal Title: Procedia Computer Science Volume: 225 Pages: 2808-2815
  • DOI: 10.1016/j.procs.2023.10.273
  • Peer Reviewed
• [Journal Article] Data Preprocessing with IRM for skill extraction using NMF (2022)
  • Author(s): Shinichi Oeda, Shunsuke Iizumi
  • Journal Title: Procedia Computer Science Volume: 207 Pages: 2283-2290
  • DOI: 10.1016/j.procs.2022.09.287
  • Peer Reviewed / Open Access
• [Journal Article] atent State Estimation Method for Students Using Knowledge Tracing Combining with IRT (2022)
  • Author(s): Shinichi Oeda, Toma Kakizaki
  • Journal Title: Procedia Computer Science Volume: 207 Pages: 1992-1999
  • DOI: 10.1016/j.procs.2022.09.258
  • Peer Reviewed
• [Journal Article] Verification of Usefulness of Student Modeling with Real Educational Data using Convex Factorization Machines (2021)
  • Author(s): Shinichi Oeda, Daiki Shimizu
  • Journal Title: Procedia Computer Science Volume: 192 Pages: 804-811
  • DOI: 10.1016/j.procs.2021.08.083
  • Peer Reviewed / Open Access
• [Journal Article] Introduction of Pair-programming for Basic Programming Education (2020)
  • Author(s): 大枝真一
  • Journal Title: THE BULLETIN OF NATIONAL INSTITUTE of TECHNOLOGY, KISARAZU COLLEGE Volume: 53 Issue: 0 Pages: 51-54
  • DOI: 10.19025/bnitk.53.0_51
  • NAID: 130007826151
  • ISSN: 0285-7901, 2188-9201, 2188-921X
  • Open Access
• [Journal Article] Visualization of Programming Skill Structure by Log-Data Analysis with Decision Tree (2019)
  • Author(s): Shinichi Oeda, Mutsumi Chieda
  • Journal Title: Procedia Computer Science Volume: 159 Pages: 582-589
  • DOI: 10.1016/j.procs.2019.09.213
  • Peer Reviewed / Open Access
• [Journal Article] Student Modeling Using Convex Factorization Machines (2019)
  • Author(s): Shinichi Oeda, Daiki Shimizu, Hikaru Yamashita
  • Journal Title: Fuzzy Systems and Data Mining V Volume: 320 Pages: 688-693
  • Peer Reviewed / Open Access
• [Presentation] 深層学習によるソースコードの分類および判断根拠の可視化 (2024)
  • Author(s): 三森正椰, 大枝真一
  • Organizer: 情報処理学会 第86回全国大会
• [Presentation] NMFのデータ前処理におけるIRMの有効性の検証 (2022)
  • Author(s): 飯棲俊介，大枝真一
  • Organizer: 情報処理学会 第84回全国大会
• [Presentation] Knowledge TracingとIRTを組み合わせた学生モデリング手法による 学習者の潜在状態推定 (2022)
  • Author(s): 柿崎透真，大枝真一
  • Organizer: 情報処理学会 第84回全国大会
• [Presentation] IRMと決定木を用いたプログラミング初学者の能力判定のための特徴量の抽出 (2022)
  • Author(s): 飯棲俊介，大枝真一
  • Organizer: 第21回情報科学技術フォーラム（FIT2022）
• [Presentation] Knowledge Tracingによる学習行動履歴からの獲得スキル予測 (2022)
  • Author(s): 柿崎透真，大枝真一
  • Organizer: 第21回情報科学技術フォーラム（FIT2022）
• [Presentation] Deep Factorization Machinesによる学習行動履歴からの獲得スキル予測 (2022)
  • Author(s): 柿崎透真，大枝真一
  • Organizer: 情報処理学会 教育学習支援情報システム（CLE）研究会 第38回研究会
• [Presentation] ケアレスミスと当て推量を特徴量としたFactorization Machinesによる学生モデリングの提案 (2022)
  • Author(s): 柿崎透真, 大枝真一
  • Organizer: 2022年電子情報通信学会総合大会 B-15-46
• [Presentation] Knowledge TracingとIRTを組み合わせた学生モデリング手法による 学習者の潜在状態推定 (2022)
  • Author(s): 柿崎透真, 大枝真一
  • Organizer: 情報処理学会 第84回全国大会 7ZL-07
• [Presentation] NMFのデータ前処理におけるIRMの有効性の検証 (2022)
  • Author(s): 飯棲俊介, 大枝真一
  • Organizer: 情報処理学会 第84回全国大会 7ZL-04
• [Presentation] IRMを用いたNMFの前処理の提案 (2021)
  • Author(s): 飯棲俊介, 大枝真一
  • Organizer: 電子情報通信学会 ソサイエティ大会 B-15-47
• [Presentation] Knowledge TracingとIRTを組み合わせた学生モデリング手法による学習者の潜在状態推定 (2021)
  • Author(s): 柿崎透真, 大枝真一
  • Organizer: 電子情報通信学会 ソサイエティ大会 B-15-48
• [Presentation] プログラミング教育におけるConvex Factorization Machinesを用いた学生モデリングの有用性の検証 (2021)
  • Author(s): 清水大幹，大枝真一
  • Organizer: 情報処理学会 第82回全国大会，6ZC-04，学生奨励賞受賞
• [Presentation] Knowledge Tracingと2母数IRTによる学習者モデルの生成 (2020)
  • Author(s): 土井康平，大枝真一
  • Organizer: 情報処理学会 第82回全国大会，7ZD-02，学生奨励賞受賞
• [Presentation] 学習履歴に基づいたプログラミング学習者の動機付けの評価 (2020)
  • Author(s): 富田直輝，大枝真一
  • Organizer: 情報処理学会 第82回全国大会，7ZD-04
• [Presentation] Convex Factorization Machines を用いた学生モデリングの提案と有効性の検証 (2020)
  • Author(s): 清水大幹，大枝真一
  • Organizer: 情報処理学会 第82回全国大会，7ZD-05，学生奨励賞受賞
• [Presentation] プログラミング授業でのランダムフォレストを用いたスキルのモデル化 (2020)
  • Author(s): 千枝睦実，大枝真一
  • Organizer: 情報処理学会 第82回全国大会，2ZH-04
• [Presentation] Knowledge Tracingによる学習者モデルの生成 (2019)
  • Author(s): 土井康平，大枝真一
  • Organizer: 電子情報通信学会 ソサイエティ大会，A-11-3
• [Presentation] プログラミング授業での決定木を用いたドロップアウト原因の可視化 (2019)
  • Author(s): 千枝睦実，大枝真一
  • Organizer: 第18回情報科学技術フォーラム，CK-002
• [Presentation] アンケートを用いたプログラミング初学者の動機付けの可視化 (2019)
  • Author(s): 富田直輝，大枝真一
  • Organizer: 第18回情報科学技術フォーラム，K-015