2021 Fiscal Year Research-status Report
Developing a Computerized Multistage Test with the Force Concept Inventory
| Project/Area Number |
19K03135
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
安田 淳一郎 山形大学, 学士課程基盤教育機構, 准教授 (00402446)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
前 直弘 大阪大学, 核物理研究センター, 協同研究員 (10796098)
谷口 正明 名城大学, その他部局等, 准教授 (90554113)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 物理教育研究 / 科学教育 / 教育評価 / 学習評価 / テスト理論 / 項目反応理論 / コンピュータ適応型テスト |
|---|
| Outline of Annual Research Achievements |
学習成果の可視化を目的として，力学概念指標（Force Concept Inventory，FCI）が国際的に広く利用されている。FCIの所要時間は受験者への説明等の時間を含めて約40分になる。これは教員および受験者にとって負担であり，FCIの普及を妨げる一つの要因となっている。そこで本研究では，FCIの精度を可能な限り維持しつつ，所要時間を可能な限り短縮することを目的として，FCIを用いたコンピュータ適応型テスト（Computerized Adaptive Testing，CAT）の開発を進めている。CATでは，受験者の解答に応じて出題を最適化することで，テストの解答時間を大幅に短縮することができる。
2019年度に，代表研究者らはFCIを用いたCAT（FCI-CAT）を開発・実装した。2020年度には，FCI-CATが紙面版FCI 全 30 問と同程度の精度で，どれほど出題数を短縮可能なのかを分析し，5~10%の精度低下を許容すれば，出題数を15~19問まで短縮できることを明らかにした。当該年度において，代表研究者らは事前テストの結果を事後テストの出題・推定アルゴリズムに組み込む方法（Collateral Information）により，FCI-CATの精度を向上させることを試みた。分析では，モンテカルロ・シミュレーションに基づきFCI-CAT の解答データを生成し，テストの精度を効果量の二乗平均平方根誤差で定量化し，その出題数との関係性を調べた。その結果，Collateral Informationを用いることにより，紙面版FCI 全 30 問と同精度で（精度低下なしで），FCI-CATの出題数を16~17問まで短縮できることが明らかになった。本研究成果は，Physical Review Physics Education Research誌に掲載された。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の「研究実施計画」では，2020年度にFCI-CATを用いた試行調査を計画していたが，COVID-19の影響により，実施が困難な状況となった。2021年度においても状況は好転せず，依然として試行調査の実施は困難であった。
一方，この状況は2019年度および2020年度の実施状況報告書「今後の研究の推進方策」で想定しており，感染状況が好転しない場合，コンピュータ・シミュレーションを用いた分析を実行する方策を立てていた。同推進方策に基づき，2020年度はFCI-CATの最適設問数を分析し，研究論文として成果をまとめた。また，2021年度はFCI-CATのアルゴリズムを改善した上で最適設問数を分析し，研究論文として成果をまとめた。
以上のことから，2019年度および2020年度の実施状況報告書で新たに立案した研究計画については一定の成果を挙げたものの，本研究課題の当初計画は未達成であるため「やや遅れている。」と自己評価した。
|
| Strategy for Future Research Activity |
2021年以前は，テストセキュリティの観点から，授業外でのオンライン調査が憚られる傾向にあった。一方，COVID-19の感染状況が一向に好転せず，コミュニティ全体での研究の停滞が懸念されたためか，最近では授業外でのオンライン調査を許容する風潮が見られるようになってきた。
そこで2022年度は，上記の経緯を踏まえ，FCI-CATを用いた授業外でのオンライン調査を実施する。予備調査等で学生へのインタビューを行う場合は，万全の感染対策の上で実施する。以上の方策により，本研究課題の当初計画の遂行を試みる。
|
| Causes of Carryover |
当初の「研究実施計画」では，2020年度にFCI-CATを用いた試行調査を計画していたが，COVID-19の影響により，実施が困難な状況となった。2021年度においても状況は好転せず，依然として試行調査の実施は困難であった。このような事情から研究期間を延長したため，次年度使用額が生じた。
2022年度は，FCI-CATを用いた授業外でのオンライン調査を実施する。予備調査等で学生へのインタビューを行う場合は，万全の感染対策の上で実施する。以上の調査・分析において，上記の次年度使用額を活用する予定である。
|
