2022 Fiscal Year Annual Research Report

Developing a Computerized Multistage Test with the Force Concept Inventory

Research Project

Project/Area Number	19K03135
Research Institution	Yamagata University
Principal Investigator	安田淳一郎山形大学, 学士課程基盤教育院, 准教授 (00402446)
Co-Investigator(Kenkyū-buntansha)	前直弘大阪大学, 核物理研究センター, 協同研究員 (10796098) 谷口正明名城大学, その他部局等, 教授 (90554113)
Project Period (FY)	2019-04-01 – 2023-03-31
Keywords	物理教育研究 / 科学教育 / 教育評価 / 学習評価 / テスト理論 / 項目反応理論 / コンピュータ適応型テスト
Outline of Annual Research Achievements	学習成果の可視化を目的として，力学概念指標（Force Concept Inventory，FCI）が国際的に広く利用されている。FCIの所要時間は受験者への説明等の時間を含めて約40分になる。これは教員および受験者にとって負担であり，FCIを含む評価テストの普及を妨げる要因の一つとなっている。そこで本研究では，FCIの精度を可能な限り維持しつつ，所要時間を可能な限り短縮することを目的として，FCIを用いたコンピュータ適応型テスト（Computerized Adaptive Testing，CAT），および，マルチステージテスト（Multistage Testing, MST）を開発した。 2019年度に，代表研究者らはFCIを用いたCAT（FCI-CAT）を開発・実装した。2020年度には，FCI-CATが紙面版FCI 全 30 問と同程度の精度で，どれほど出題数を短縮可能なのかを分析し，5~10%の精度低下を許容すれば，出題数を15~19問まで短縮できることを明らかにした。2021年度には，事前テストの結果を事後テストの出題・推定アルゴリズムに組み込む方法（Collateral Information）により，紙面版FCI 全 30 問と同精度で（精度低下なしで），FCI-CATの出題数を16~17問まで短縮できることを明らかにした。最終年度において，代表研究者らはFCIを用いたMST(FCI-MST)を開発した。FCI全30問の部分設問群を開発し，その中で特に有効と考えられる設問群のみを精選した上で試行調査を実施し，調査データから各設問の項目パラメータを推定した。そして，FCIの各設問とその部分設問群から成るモジュールを構成した上で，モンテカルロ・シミュレーションに基づき，最適なアルゴリズムを検討した。