Development of cognitive diagnostic model to estimate the reason for wrong answers and its practical application

2020 Fiscal Year Annual Research Report

• Project/Area Number: 18K03057
• Research Institution: University of Tsukuba
• Principal Investigator: 尾崎 幸謙 筑波大学, ビジネスサイエンス系, 准教授 (50574612)
• Co-Investigator(Kenkyū-buntansha): 菅原 真悟 国立情報学研究所, 社会共有知研究センター, 特任研究員 (00745052)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: テスト理論 / 認知診断モデル / データリテラシー

Outline of Annual Research Achievements

本研究の目的は，テスト受検者の回答データを分析することで，各受検者がどのような考え方のもとで誤答しているのかを推定する統計モデルを開発することと，その統計モデルを実データに適用することで，開発したモデルの性能を検証することである。従来のテスト理論のモデルは，各受検者の能力推定をできる限り精度高く・公平に実施することを目的にしているものが多い。しかし，テスト実施後に各受検者の知識の状態を詳細に知るには，誤答の理由を知ることが重要である。それにより，各受検者は自身の今後の学習方針を立てることができ，指導者にとっては指導方針を立てることができるからである。
上記２つの目的のうちの１つめである統計モデル開発についてはOzaki, Sugawara, and Arai(2020)で国際学術雑誌に発表した。開発したモデルは認知診断モデルという比較的新しいテスト理論モデルをベースに開発した。より具体的にはOzaki(2015)に発表された多肢選択型問題に適用するための認知診断モデルをベースとした。認知診断モデルは，正答するために必要な各種スキルを各受検者が持っているか否かを推定するものであり，本研究では「正答するために必要な各種スキル」を「誤答してしまった理由」に置き換えた。
２つめの目的である実データへの適用については，2019年度および2020年度にデータリテラシーを測定するためのテストを作成し，データ収集を行い，適用を行った。適用結果は未発表であるが，「主観的な考え方に基づいて回答してしまう」などの誤答理由を推定することができ，従来のテスト理論モデルでは知ることができなかった情報を得ることが可能となった。