Developing a Computerized Multistage Test with the Force Concept Inventory

2022 Fiscal Year Final Research Report

• Project/Area Number: 19K03135
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09080:Science education-related
• Research Institution: Yamagata University
• Principal Investigator: YASUDA Jun-ichiro 山形大学, 学士課程基盤教育院, 准教授 (00402446)
• Co-Investigator(Kenkyū-buntansha): 前 直弘 大阪大学, 核物理研究センター, 協同研究員 (10796098) ; 谷口 正明 名城大学, その他部局等, 教授 (90554113)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 物理教育研究 / 科学教育 / 教育評価 / 学習評価 / テスト理論 / 項目反応理論 / コンピューター適応型テスト

Outline of Final Research Achievements

The two main results of this research project are as follows.
(1) We developed computerized adaptive testing (CAT) using the Force Concept Inventory (FCI). Using simulations, we found, that for a class size of 40, we may reduce the test length of the FCI-CAT to 15-19 items (the full-length FCI has 30 items) with an accompanying decrease in accuracy and precision of only 5-10%.
(2) We improved the algorithm of the FCI-CAT to increase the efficiency and security of the test. The simulation analysis revealed that we can achieve the accuracy and precision of the full-length FCI with fewer items via the FCI-CAT. Specifically, for a class size of 40, we can reduce the sum of the pre- and post-test lengths of the FCI-CAT to a total of 29 items, thereby reducing the testing time to 55%. We also found that if one desires a balance of test efficiency and security, choosing equal pre- and post-test lengths would be reasonable.

Free Research Field

物理教育研究

Academic Significance and Societal Importance of the Research Achievements

本研究の成果により，コンピューター適応型テストを利用することで，力学概念指標（FCI）の実施に要する時間を約30分から約15分まで短縮できることが明らかになった。これにより，これまで調査に費やされていた授業時間を学習時間に充てることが可能になる。また，これまで時間的な制限からFCI調査を授業中に実施することを躊躇っていた教員にとっては，実施を後押しすることが期待できる。以上のように，本研究で開発されたFCI-CATは学習評価に係わる負担を軽減することにより，評価の普及を促進するものである。