|
1.大学英語プログラムにおけるプレースメントテストの妥当性検証フレームワーク作成
Messick(1989)が提唱したテストの単一妥当性に基づき、大学英語プログラムで実施されたプレースメントテストの改訂前と改訂後の妥当性検証するフレームワークを作成した。このフレームワークはテスト作成、実施の各段階の手順と、どの段階でどのような分析をするか、これらの関係を解り易く図式したもので、これに従い6種類の量的質的分析(記述統計、3パラメータIRT分析、テスト情報関数、ファイラムダ指数、主成分分析、教員、学生アンケート等)を行った。改訂前と比較すると、全ての分析結果で改訂後テストとその結果の使用がより妥当になったと言える証拠が得られた。
2.カットポイント
プレースメントテストの目的は、類似した習熟度の学生が同じクラスになり、今後彼らがこのプログラムでどのような英語能力を発揮するか予想するものである。3つの習熟度別クラスに分けるとき、上と中、中と下のレベルの2つの切れ目(カットポイント)周辺の能力値の学生を最も正確に見分ける必要がある。しかし、改訂後のテストは中と下のカットポイントでの精度をあまり向上させることができなかった。今後さらに改訂を繰り返し、両方のカットポイントでテスト情報関数が高い精度を示すように改善する必要がある。
3.クラス分け満足度アンケート
学生より教員のほうがクラス分けに対する満足度が高い。また、習熟度が低い学生とその担当教員、よりも習熟度が高い学生とその担当教員、のほうが満足度が高いという結果がでた。
4.今後の研究
実施されるテストごとにフレームワークを作成して妥当性検証を行い、さらに項目応答理論に基づく量的分析を実施する事が一般的に普及するように努力していきたい。また、本研究を基に、等化されたプレ・ポストテストによる学生の習熟度変化も評価項目に含むプログラム評価の研究へ発展させたい。
|
