• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

教育ビックデータの予測精度と解釈性を両立するBayesian Deep-IRT

Research Project

Project/Area Number 22K19825
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 62:Applied informatics and related fields
Research InstitutionThe University of Electro-Communications

Principal Investigator

植野 真臣  電気通信大学, 大学院情報理工学研究科, 教授 (50262316)

Co-Investigator(Kenkyū-buntansha) 宇都 雅輝  電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
Project Period (FY) 2022-06-30 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2024: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2023: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords項目反応理論 / 深層学習 / Knowledge Tracing / 教育ビックデータ / Deep Learning / アダプティブラーニング / ディープラーニング / テスト理論
Outline of Research at the Start

教育ビックデータから学習者の知識状態を推定し,適応的に学習支援するアダプティブラーニングの基礎技術として,Deep Learningの利用が注目されている.これらの手法は学習者の未知の項目への反応予測精度は高いが,パラメータの解釈性が低い問題がある.一方,確率モデルの一つである項目反応理論(IRT)は,パラメータの解釈性は高いが予測精度はDeep Learningに劣る.我々は予測精度と解釈性の両立を目指したDeep-IRTを開発してきた.しかし,この手法では解釈性の改善が限定的であった.本研究では,Deep-IRTに確率的アプローチを組み込み,高い解釈性と予測精度を実現できるBayesian Deep-IRTを提案する.

Outline of Annual Research Achievements

本研究では,我々が開発してきたDeep LearningによるKnowledge Tracingの最先端手法であるDeep-IRTに新たな Hypernetwork を組み込み,最新の学習者の反応データと直前の学習者の潜在能力値の両方を用いて忘却パラメータを最適化した.一般的な LSTM では潜在変数を更新するための重みパラ メータの値が全時点で共有されているが,Hypernetworkを用いて潜在変数を更新する前に重みを時点ごとに最適化することで,LSTM のパフォーマンスが向上することが示されている. 本研究では,Deep-IRT における潜在変数を更新する前に,Hypernetwork 内で最新の学習者の反応データと前時点での潜在変数のバランスを調整しながら忘却パラメータを推定した.提案手法は,最先端の反応予測手法を大きく上回る予測精度を示した.これらの結果は堤(2023)で発表され、2023年度電子情報通信学会論文賞を受賞している.一方,確率モデルは数学的に明確で漸近的一致性などの数学的性質も望ましい.また,教育分野のように「学力」や「難易度」などの構成概念の測定には明確にモデルを定義できる確率アプローチが向いているが、予測精度に関してDeep learningに大きく劣っている.2003年度では,Deep learningに予測精度・解釈性ともに大きく勝るベイジアンネットワーク分類機を提案した(加藤 2023, Sugahara 2024).この手法は分類値、分類確率も真の値に漸近収束する.この成果は人工知能の最高峰のトップカンファレンスAAAI2024に採択され発表されている.現在までに開発してきた手法は,解釈性,予測精度ともに世界最高精度に到達している.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

著者らは独立な学習者ネットワークと項目ネットワークから学習者の項目反応を予測するDeep-IRTを開発し, 予測精度も解釈性も改善できることを示してきた.これらの研究では学習者の能力パラメータと課題の難易度パラメータの解釈性を向上させたが,学習者の反応予測精度は既存手法と同程度であった.本研究ではDeep-IRTに新たなHypernetworkを組み込み,最新の学習者の反応データと直前の学習者の潜在能力値の両方を用いて忘却パラメータを最適化した.一般的な LSTMでは潜在変数を更新するための重みパラメータの値が全時点で共有されているが,Hypernetwork を用いて潜在変数を更新する前に重みを時点ごとに最適化することで,LSTM のパフォーマンスが向上することが示されている.本研究では, Deep-IRT における潜在変数を更新する前に,Hypernetwork内で最新の学習者の反応データと前時点での潜在変数のバランスを調整しながら忘却パラメータを推定した.提案手法は最先端の反応予測手法を上回る予測精度を実現した.また,忘却パラメータ最適化は長期の学習において有効であることがわかった.一方,著者らは確率アプローチを用いた学習システムも開発してきた.しかし,予測精度に関して確率的アプローチはDeep learningアプローチに決定的に劣っていることが分かってきた.その理由は,Deep learningが対象変数の予測のみを目的とする識別モデルであるのに対し,生成モデルである確率モデルは,対象としない変数についても予測していることにある.今回,Deep learningに予測精度・解釈性ともに大きく勝るベイジアンネットワーク分類機を提案している.この手法は真のモデルがベイジアンネットワークに従わなくても真の値に分類でき、分類確率も真の値に漸近収束するという望ましい性質を持っている.現在までに開発してきた手法は,解釈性,予測精度ともに世界最高精度に到達している.

Strategy for Future Research Activity

今後は,Hypernetworkを組み込んだDeep-IRTの予測精度をさらに向上させることを考える.また,Bayesian network分類機は現在、100変数程度にしか適用できない.また,時系列モデルに対応していないという問題もある.まず,Bayesian network分類機の大規模変数を扱えるアルゴリズムを開発する.次に,時系列データを扱えるDynamic Bayesian network分類機を提案する.この手法は,Adaptive LearningにおけるKnowledge Tracingに適用可能となる.最後に,Dynamic Bayesian network分類機とHypernetworkを組み込んだDeep-IRTを組み合わせて,最高の解釈性と予測精度を持つKnowledge Tracing手法の実現を目指したい.また,これまで手法開発に注力してきて,システム開発や社会実装などの実応用が少ない.今後,実際の現場で用いられるようにAdaptive Learning システムに組み込み,実際の現場でその有効性を示したいと考える.

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (11 results)

All 2024 2023 2022

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 1 results) Presentation (7 results) (of which Int'l Joint Research: 4 results)

  • [Journal Article] Deep-IRT with a Temporal Convolutional Network to Convolute Student's Past Ability Change2024

    • Author(s)
      西尾 徹朗、堤 瑛美子、植野 真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J107-D Issue: 3 Pages: 98-110

    • DOI

      10.14923/transinfj.2023JDP7018

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2024-03-01
    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Deep Knowledge Tracing Incorporating a Hypernetwork With Independent Student and Item Networks2024

    • Author(s)
      Tsutsumi Emiko、Guo Yiming、Kinoshita Ryo、Ueno Maomi
    • Journal Title

      IEEE Transactions on Learning Technologies

      Volume: 17 Pages: 951-965

    • DOI

      10.1109/tlt.2023.3346671

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] AI・ビッグデータによるアダプティブラーニング2024

    • Author(s)
      植野真臣
    • Journal Title

      人工知能学会誌

      Volume: 39 Pages: 111-117

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] DeepIRT with a Hypernetwork to Optimize the Degree of Forgetting of Past Data2023

    • Author(s)
      堤 瑛美子、郭 亦鳴、植野 真臣
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J106-D Issue: 2 Pages: 72-83

    • DOI

      10.14923/transinfj.2022LEP0003

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2023-02-01
    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Presentation] Deep-IRT with temporal convolutional network for comprehensive reflection of student ability history data2024

    • Author(s)
      Emiko Tsutsumi, Tetsurou Nishio, Maomi Ueno
    • Organizer
      Artificial Intelligence in Education
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Learning Bayesian Network Classifiers to Minimize Class Variable Parameters2024

    • Author(s)
      Shouta Sugahara, Koya Kato and Maomi Ueno
    • Organizer
      38th AAAI Conference on Artificial Intelligence
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Bayesian neural networkに基づく項目反応理論2023

    • Author(s)
      堤 瑛美子, 植野 真臣
    • Organizer
      人工知能学会全国大会(第37回)
    • Related Report
      2023 Research-status Report
  • [Presentation] アダプティブラーニングのための深層学習を用いた最適ヒント予測2023

    • Author(s)
      佐々木 極昇, 堤瑛美子, 植野 真臣
    • Organizer
      教育システム情報学会第48回全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 学習者の能力の時系列変化を畳み込むTemporal Convolutional Networkを組み込んだ Deep-IRT2023

    • Author(s)
      堤瑛美子, 植野真臣
    • Organizer
      日本行動計量学会 第51回大会
    • Related Report
      2023 Research-status Report
  • [Presentation] DeepIRT with a Hypernetwork to Optimize the Degree of Forgetting of Past Data2022

    • Author(s)
      Emiko Tsutsumi, Yiming Guo, Maomi Ueno
    • Organizer
      International Conference on Educational Data Mining
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Deep knowledge tracing in corporating a hypernetwork with independent student and item networks2022

    • Author(s)
      Emiko Tsutsumi, Yiming Guo, Maomi Ueno
    • Organizer
      International Conference on Educational Data Mining
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2022-07-05   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi