Developing test items for cognitive diagnosis: With achievement level descriptors and students' errors

2019 Fiscal Year Final Research Report

• Project/Area Number: 19K21018
• Project/Area Number (Other): 18H05826 (2018)
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund (2019); Single-year Grants (2018)
• Review Section: 0110:Psychology and related fields
• Research Institution: The National Center for University Entrance Examinations
• Principal Investigator: Terao Takahiro 独立行政法人大学入試センター, 研究開発部, 助教 (70827055)
• Project Period (FY): 2018-08-24 – 2020-03-31
• Keywords: 項目作成 / 受験者の誤答 / 学力の達成度を表す記述文 / 誤答選択肢

Outline of Final Research Achievements

This study aimed to investigate the features that were relevant to students' cognitive processes and affected difficulty of test items, for the development of cognitive test items. The study identified such factors based on the information processing model in cognitive psychology, manipulated them in experimental test items, and checked whether these factors certainly influenced on the difficulty of test items. The result showed that some characteristics reflected in distractors had an enormous impact on item difficulty, rather than item formats.

Free Research Field

教育測定

Academic Significance and Societal Importance of the Research Achievements

本研究の学術的意義は，試験問題の作成にあたって，測定したい学力に関連した認知プロセスの中に含まれている要因の操作によって，確かに受験者に求める学力水準が影響を受け，試験問題の難易度の高低が変動していたことを示したことである。この結果は，測定したい学力が試験問題の要求する能力水準に写し取られていたことの証拠として機能し，測定の妥当性(validity)の高さを示している。試験問題が要求する能力水準を実証的に検討した事例を提供したとともに，学力の達成度を表す記述文の作成にも活用できる知見である。