2010 Fiscal Year Annual Research Report
1万人の必須英語プログラム改革の為の有効性の高いプログラム評価システムの開発
| Project/Area Number |
22520584
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
藤田 智子 東海大学, 外国語教育センター, 教授 (80329002)
|
|---|
| Keywords | プログラム評価 / IRT / 等化方法 / 入口出口テスト / シュミレーション / 共通項目デザイン / 大学英語教育プログラム / 言語テスト |
|---|
| Research Abstract |
1万人の必須英語プログラムを評価するための最も有効な手段として、項目応答理論(IRT)に基づくテストの等化を利用した入口出口テストシステムを開発した。特に幾つかのIRTによる等化方法を比較し、どの方法が最も本研究のデータに適切であるかシュミレーションをして調査した。
2010年度のプログラム改革を行う前の旧プログラムを2年間受講した学生のうち入口テストは約4900人が、出口テストは3つの習熟度レベルの約20～30%の学生をアトランダム抽出した約700人)が受験した。この2つのテストをIRTの共通項目(10問)デザインで等化し共通尺度にのせ2年間の習熟度の伸びを測った。この時注目したのが、3種類(2, 2, 5, 3 PL)のうちどのIRTモデルを用いて分析するのがこのテストデータに最適であるかである。そこで共通10項目を利用して入口と出口テストのパラメータでの計算による誤差を3種類のIRTモデルごとに計算した結果、誤差最小になるモデルが2,5PLであることが分かった(11.研究成果の雑誌論文、研究発表参照)
また、前述した論文を発展させ3種類のIRTモデルそれぞれに5種類の等化方法を組み合わせ15通りのIRTによる等化方法の計算結果を比較して、最も誤差の少ない方法が2,5PL-Calr法であることが分かった(自家製入口出口テストの学生リスニング能力変化推定のための2値型IRTモデルと等化方法の選択(藤田 2011 to appear)参照)。
これらの研究結果を検証するため誤差最小の最適等化方法と誤差最大の方法で計算した結果、同じデータでありながら用いたIRT等化方法によって結果に大きな違いが生じた。このことはIRT等化を用いる分析をする時、データや分析目的を熟慮して利用するIRTモデルと等化方法を慎重に選択する必要があることを示唆している。
|
