| 研究概要 |
本年度は、事前事後テストの結果によるアウトカム評価をより正確に実施する方法を中心に研究を進め、その成果を国際学会(E-learn2011:ハワイ)で発表した。履修者たちが英語教育プログラムで学ぶ前(事前)と学んだあと(事後)で、英語能力がどのように変化したのか調査するための事前事後テストの「等化のしかた」に焦点を当てた。本研究では共通項目デザインという、事前と事後のテストに同じテスト項目が含まれ(共通項目)、それらを"つなぎ"として2つのテストを等化し、履修者たちの事前事後の英語能力がどのように変化したのか項目応答理論(IRT)を使って推定した。IRTにはいくつかの異なったモデルがあり、正確に推定できると思われる被験者数がモデルによって異なっている。また、等化方法は高い専門知識を必要とする方法とそうでない方法がある。テストの等化を行う時は、どのような等化の方法がそのデータとテストの目的にあっているのか調べてから実施するべきだと言われている。本研究では2セットの事前事後テストのデータ(被験者数:事前テスト約5000人、事後テスト約700人)を用いて、3つのIRTモデルと5つの等化方法(MM,MS,HB,SL,CR)を組み合わせた15通りの方法によって等化した結果を比較した。これには共通項目の事前と事後のパラメタを利用して差(RMSE)を比較する方法を用いた。その結果、本研究の目的とデータに最も適切なのは(1)2PLCR法で最も不適切なのは(2)3PLMS法だと判定された。
等化の方法の判定結果を基に、(1)最適な方法と(2)最不適な方法を使って、実際の事前事後テストデータを等化して、履修者の能力変化を推定したところ、2回とも(1)最適な方法の方が、(2)最不適な方法より0.14～0.18平均能力値の伸びが高いという結果になった。これは、利用するIRTモデルと等化方法の違いによって、その分析結果に影響を与えることを意味し、テスト分析担当者は慎重に使用する分析方法を選択するべきだということを示唆している。
|
