Developing a Computerized Multistage Test with the Force Concept Inventory
| Project/Area Number |
19K03135
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09080:Science education-related
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
前 直弘 大阪大学, 核物理研究センター, 協同研究員 (10796098)
谷口 正明 名城大学, その他部局等, 教授 (90554113)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 物理教育研究 / 科学教育 / 教育評価 / 学習評価 / テスト理論 / 項目反応理論 / コンピューター適応型テスト / コンピュータ適応型テスト |
|---|
| Outline of Research at the Start |
本研究では，学習者の力学概念の理解度を精確かつ効率的に測定するための評価テストを開発し，その国際的通用性を検証することを目的とする。開発する評価テストの土台として，国際的に普及している力学概念指標（FCI）を用いる。テストの精度を高めるため，研究代表者らが独自に開発してきた部分設問群の方法を用いる。またテストの効率性を高めるため，つまりテストの解答時間を短縮するため，コンピュータ適応型テスト（CAT）の発展型であるマルチステージテスト（MST）を用いる。開発の第１段階ではFCIを組み込んだCATを開発し，第２段階ではFCIとその部分設問群を組み込んだMSTを開発する。
|
| Outline of Final Research Achievements |
The two main results of this research project are as follows.
(1) We developed computerized adaptive testing (CAT) using the Force Concept Inventory (FCI). Using simulations, we found, that for a class size of 40, we may reduce the test length of the FCI-CAT to 15-19 items (the full-length FCI has 30 items) with an accompanying decrease in accuracy and precision of only 5-10%.
(2) We improved the algorithm of the FCI-CAT to increase the efficiency and security of the test. The simulation analysis revealed that we can achieve the accuracy and precision of the full-length FCI with fewer items via the FCI-CAT. Specifically, for a class size of 40, we can reduce the sum of the pre- and post-test lengths of the FCI-CAT to a total of 29 items, thereby reducing the testing time to 55%. We also found that if one desires a balance of test efficiency and security, choosing equal pre- and post-test lengths would be reasonable.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究の成果により，コンピューター適応型テストを利用することで，力学概念指標（FCI）の実施に要する時間を約30分から約15分まで短縮できることが明らかになった。これにより，これまで調査に費やされていた授業時間を学習時間に充てることが可能になる。また，これまで時間的な制限からFCI調査を授業中に実施することを躊躇っていた教員にとっては，実施を後押しすることが期待できる。以上のように，本研究で開発されたFCI-CATは学習評価に係わる負担を軽減することにより，評価の普及を促進するものである。
|
Report
(5 results)
Research Products
(22 results)
