2020 Fiscal Year Research-status Report
Developing a Computerized Multistage Test with the Force Concept Inventory
| Project/Area Number |
19K03135
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
安田 淳一郎 山形大学, 学士課程基盤教育機構, 准教授 (00402446)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
前 直弘 関西大学, システム理工学部, 特別任用教授 (10796098)
谷口 正明 名城大学, その他部局等, 准教授 (90554113)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 物理教育研究 / 科学教育 / 教育評価 / 学習評価 / テスト理論 / 項目反応理論 / コンピュータ適応型テスト |
|---|
| Outline of Annual Research Achievements |
物理教育における学習成果の評価指標の中で，国際的に最も普及している指標の一つが力学概念指標（Force Concept Inventory，FCI）である。FCIの所要時間は，受験者への説明等の時間を含めて約40分になる。これは教員・受験者にとって負担であり，教員が授業でFCIを実施することをためらう一つの原因となっている。
そこで本研究では，FCIの精度を可能な限り維持しつつ，所要時間を可能な限り短縮することを目的として，FCIを用いたコンピュータ適応型テスト（Computerized Adaptive Testing，CAT）の開発を進めている。CATの特徴は，受験者の解答に応じて出題される設問が最適化されることであり，テストの解答時間を大幅に短縮することができる。2019年度において，代表研究者らはFCIの設問を用いたCAT（FCI-CAT）を開発・実装した。
当該年度において，代表研究者らはFCI-CATについて，紙面版のFCI 全 30 問と同程度の精度で，どれほど出題数を短縮可能なのかを分析した。具体的には，モンテカルロ・シミュレーションに基づきFCI-CAT の解答データを生成し，テストの精度を効果量（Cohen's d）の二乗平均平方根誤差（Root Mean Square Error）で定量化し，その出題数との関係性を調べた。その結果，5~10%の精度低下を許容すれば，出題数を15~19問まで短縮できることが明らかになった。本研究成果は，Physical Review Physics Education Research誌の注目論文としてEditors' Suggestion*に選ばれた。*編集者が選抜するもので，特に興味深く，重要，かつ明快な成果と判断された少数の論文（2021年4月時点の選定率は約7%）。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実施計画」において，当該年度にFCI-CATを用いて，約1000～2000名を対象に試行調査を実施することを計画していたが，COVID-19の影響により，試行調査を実施することが困難な状況となった。この状況は，2019年度の実施状況報告書「今後の研究の推進方策」で想定していたことであり，その場合，コンピュータ・シミュレーションを用いてFCI-CATの最適設問数を分析する方策を立てていた。
当該年度においては，同推進方策に基づいてFCI-CATの最適設問数を分析し，研究論文として成果をまとめた。当該研究成果は，Physical Review Physics Education Research誌の注目論文としてEditors' Suggestionに選定された。
以上のことから，本研究課題の当初計画は未達成であるものの，2019年度の実施状況報告書で新たに立案した研究計画については一定の成果を挙げたことから，「おおむね順調に進展している。」と自己評価した。
|
| Strategy for Future Research Activity |
2021年度においても，COVID-19の影響により，FCI-CATを用いた試行調査の実施が困難な状況が続くことが想定される。そのため，今後の研究においては，開発したFCI-CATを多様な観点から改善し，コンピュータ・シミュレーションを用いて最適設問数を分析する予定である。
FCI-CATの具体的な改善点は以下の通りである。①FCIで分類された物理概念が均等に出題されるように，出題バランス（content balancing）を制御したCATアルゴリズムを導入する。②事前テストに関する記憶が事後テストまで保持される可能性を考慮し，設問の露出率（item exposure rate）を制御したCATアルゴリズムを導入する。③事前テストでの能力推定値を付帯情報（collateral information）として，事後能力推定における事前分布に導入する。④事後テストの出題数を，事前テストより短縮する可能性を検討する。
この他，開発したFCI-CATを米国物理教師連盟（AAPT）が運営する教育資源共有サイト「PhysPort」で公開できるよう，使用ルールの策定等を実施する予定である。
|
| Causes of Carryover |
当初の予定では，2020年度に海外研究協力者を招聘し，研究打合せを実施する予定であったが，COVID-19の影響により，招聘が困難な状況になった。当該費用は，2021年度に当該研究者を招聘する際の費用として支出する予定である。
|
