2023 Fiscal Year Research-status Report
教育ビックデータの予測精度と解釈性を両立するBayesian Deep-IRT
| Project/Area Number |
22K19825
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
植野 真臣 電気通信大学, 大学院情報理工学研究科, 教授 (50262316)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | 項目反応理論 / 深層学習 / Knowledge Tracing |
|---|
| Outline of Annual Research Achievements |
本研究では，我々が開発してきたDeep LearningによるKnowledge Tracingの最先端手法であるDeep-IRTに新たな Hypernetwork を組み込み，最新の学習者の反応データと直前の学習者の潜在能力値の両方を用いて忘却パラメータを最適化した．一般的な LSTM では潜在変数を更新するための重みパラ メータの値が全時点で共有されているが，Hypernetworkを用いて潜在変数を更新する前に重みを時点ごとに最適化することで，LSTM のパフォーマンスが向上することが示されている． 本研究では，Deep-IRT における潜在変数を更新する前に，Hypernetwork 内で最新の学習者の反応データと前時点での潜在変数のバランスを調整しながら忘却パラメータを推定した．提案手法は，最先端の反応予測手法を大きく上回る予測精度を示した．これらの結果は堤(2023)で発表され、2023年度電子情報通信学会論文賞を受賞している．一方，確率モデルは数学的に明確で漸近的一致性などの数学的性質も望ましい．また，教育分野のように「学力」や「難易度」などの構成概念の測定には明確にモデルを定義できる確率アプローチが向いているが、予測精度に関してDeep learningに大きく劣っている．2003年度では，Deep learningに予測精度・解釈性ともに大きく勝るベイジアンネットワーク分類機を提案した(加藤 2023, Sugahara 2024)．この手法は分類値、分類確率も真の値に漸近収束する．この成果は人工知能の最高峰のトップカンファレンスAAAI2024に採択され発表されている．現在までに開発してきた手法は，解釈性，予測精度ともに世界最高精度に到達している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
著者らは独立な学習者ネットワークと項目ネットワークから学習者の項目反応を予測するDeep-IRTを開発し, 予測精度も解釈性も改善できることを示してきた．これらの研究では学習者の能力パラメータと課題の難易度パラメータの解釈性を向上させたが，学習者の反応予測精度は既存手法と同程度であった．本研究ではDeep-IRTに新たなHypernetworkを組み込み，最新の学習者の反応データと直前の学習者の潜在能力値の両方を用いて忘却パラメータを最適化した．一般的な LSTMでは潜在変数を更新するための重みパラメータの値が全時点で共有されているが，Hypernetwork を用いて潜在変数を更新する前に重みを時点ごとに最適化することで，LSTM のパフォーマンスが向上することが示されている．本研究では， Deep-IRT における潜在変数を更新する前に，Hypernetwork内で最新の学習者の反応データと前時点での潜在変数のバランスを調整しながら忘却パラメータを推定した．提案手法は最先端の反応予測手法を上回る予測精度を実現した．また，忘却パラメータ最適化は長期の学習において有効であることがわかった．一方，著者らは確率アプローチを用いた学習システムも開発してきた．しかし，予測精度に関して確率的アプローチはDeep learningアプローチに決定的に劣っていることが分かってきた．その理由は，Deep learningが対象変数の予測のみを目的とする識別モデルであるのに対し，生成モデルである確率モデルは，対象としない変数についても予測していることにある．今回，Deep learningに予測精度・解釈性ともに大きく勝るベイジアンネットワーク分類機を提案している．この手法は真のモデルがベイジアンネットワークに従わなくても真の値に分類でき、分類確率も真の値に漸近収束するという望ましい性質を持っている．現在までに開発してきた手法は，解釈性，予測精度ともに世界最高精度に到達している．
|
| Strategy for Future Research Activity |
今後は，Hypernetworkを組み込んだDeep-IRTの予測精度をさらに向上させることを考える．また，Bayesian network分類機は現在、100変数程度にしか適用できない．また，時系列モデルに対応していないという問題もある．まず，Bayesian network分類機の大規模変数を扱えるアルゴリズムを開発する．次に，時系列データを扱えるDynamic Bayesian network分類機を提案する．この手法は，Adaptive LearningにおけるKnowledge Tracingに適用可能となる．最後に，Dynamic Bayesian network分類機とHypernetworkを組み込んだDeep-IRTを組み合わせて，最高の解釈性と予測精度を持つKnowledge Tracing手法の実現を目指したい．また，これまで手法開発に注力してきて，システム開発や社会実装などの実応用が少ない．今後，実際の現場で用いられるようにAdaptive Learning システムに組み込み，実際の現場でその有効性を示したいと考える．
|
| Causes of Carryover |
研究進捗の関係から，当初参加を想定していた国際会議AIEDに論文を投稿できなかったため，旅費について残額が生じた．令和6年度の当該国際会議には論文を投稿することができ，採択となったため，その旅費として繰越額を利用する．
|
