2005 Fiscal Year Annual Research Report

テスト妥当性を高める為の英語プレースメントテスト作成システム

Research Project

Project/Area Number	16520353
Research Institution	Tokai University
Principal Investigator	藤田智子東海大学, 外国語教育センター, 助教授 (80329002)
Keywords	妥当性検証 / フレームワーク / プレースメントテスト / 3パラメータIRT / テスト情報曲線 / 習熟度別クラス編成 / 単一妥当性 / 英語統一プログラム
Research Abstract	1.妥当性検証の為のフレームワーク作成今年度は今までのデータを使ってMessick(1989)が提唱した単一妥当性に基づき、大学の統一必修英語プログラムの改訂前と改訂後のプレースメントテストの妥当性検証をした。そのため改訂前、改訂後の2つのテストそれぞれにフレームワークを作成し、それに従ってテストがより妥当だと言えるための証拠収集を実施した。フレームワークはテスト作成・実施の各段階にどのような分析をするかをそれぞれの密接な関係が解り易く図式にしたもので、約7種類の量的・質的分析が行われた。分析の結果、記述統計、3パラメータIRT(項日応答理論)を利用した分析による要改善の項目数、テスト情報関数、ファイラムダ指数、教員・被験者対象のアンケート等、すべての分析の結果はこのテストとその結果によるクラス分け実施が、改訂版プレースメントテストでより妥当であったという結果がでた。 2.テスト情報曲線(TIC) IRT分析によってテスト情報関数が算出され、それはそれぞれの能力レベルでいかに高精度に被験者能力を測定できたかを示す。この曲線を利用する事により、特定の能力レベルで精度の高いテストを作成する(仕立て(tailored)テスト)が可能になった。 3.杢研究の独自性と一般化 (1)英語プレースメントテストの研究のなかでもIRTを利用して分析し出版された研究は日本ではまだ無い。 (2)妥当性検証フレームワークを作成し、改訂前と改訂後のテスト妥当性を比較する研究は非常にユニークであると思う。 (3)量的分析だけではなく、学生と担当教員に大規模なアンケートを実施し質的分析も加えている。本研究はこのケースだけにとどまらず、今後様々なテストの妥当性検証の一つの原型として参照される事が望ましい。今年度は、2つのテストの学会で発表し、関連内容の博士論文の出版も実現し、研究結果が他の研究者の参考になれば幸いである。