物理教育の効果を測定するための指標の一つとして,学習者の力学概念の測定を目的にした Force Concept Inventory(FCI)である. FCIの妥当性は様々な観点から評価されているが,ほとんどの研究はFCIの設問が妥当であるか,ないかという二元論的な評価方法を採っている.このようなアプローチでは,ある設問が妥当でないと判定されたとしても,その設問の非妥当性がFCIの総得点等に与える影響がどの程度なのか判然としないという問題があった. そこで本研究では,FCIの妥当性を系統的誤差として定量化し,ある設問の非妥当性がFCIの正答率や平均規格化ゲインに与える影響を分析した.妥当性評価の観点として我々が着目したのは偽正答である.偽正答の判定においては,部分設問群(Subquestions)の方法を用いた.部分設問群を作成した設問はFCI全30問中4問に限られる.4問中3問は,前研究の聞き取り調査で偽正答が得られたすべての設問(invalid-likeな設問)であり,残る1問は同調査で偽正答が得られなかった設問(valid-likeな設問)から選び出したものである.この1問についての調査結果は,本調査で部分設問群を作成しなかった26問の系統的誤差を概算する際に用いた. 分析の結果,概算で用いるfitting関数次第であるが,FCIの真正答率が生正答率の半分以下に達すること,また,真の平均規格化ゲインが生の平均規格化ゲインの半分程度に達することが明らかになった.さらに,invalid-likeな設問3問には,生スコアと真正答率の関係に閾値が存在するが,valid-likeな設問1問には,同様の閾値が存在しないことが明らかになった.その閾値は,conceptual threshold,mastery thresholdと呼ばれる閾値にほぼ一致した.
|