2011 Fiscal Year Annual Research Report
1万人の必須英語プログラム改革の為の有効性の高いプログラム評価システムの開発
| Project/Area Number |
22520584
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
藤田 智子 東海大学, 外国語教育センター, 教授 (80329002)
|
|---|
| Keywords | プログラム評価 / 項目応答理論(IRT) / 等化方法 / 事前事後テスト / 大学英語教育プログラム / 共通項目デザイン / アウトカム評価 / 能力値変化 |
|---|
| Research Abstract |
本年度は、事前事後テストの結果によるアウトカム評価をより正確に実施する方法を中心に研究を進め、その成果を国際学会(E-learn2011:ハワイ)で発表した。履修者たちが英語教育プログラムで学ぶ前(事前)と学んだあと(事後)で、英語能力がどのように変化したのか調査するための事前事後テストの「等化のしかた」に焦点を当てた。本研究では共通項目デザインという、事前と事後のテストに同じテスト項目が含まれ(共通項目)、それらを"つなぎ"として2つのテストを等化し、履修者たちの事前事後の英語能力がどのように変化したのか項目応答理論(IRT)を使って推定した。IRTにはいくつかの異なったモデルがあり、正確に推定できると思われる被験者数がモデルによって異なっている。また、等化方法は高い専門知識を必要とする方法とそうでない方法がある。テストの等化を行う時は、どのような等化の方法がそのデータとテストの目的にあっているのか調べてから実施するべきだと言われている。本研究では2セットの事前事後テストのデータ(被験者数:事前テスト約5000人、事後テスト約700人)を用いて、3つのIRTモデルと5つの等化方法(MM,MS,HB,SL,CR)を組み合わせた15通りの方法によって等化した結果を比較した。これには共通項目の事前と事後のパラメタを利用して差(RMSE)を比較する方法を用いた。その結果、本研究の目的とデータに最も適切なのは(1)2PLCR法で最も不適切なのは(2)3PLMS法だと判定された。
等化の方法の判定結果を基に、(1)最適な方法と(2)最不適な方法を使って、実際の事前事後テストデータを等化して、履修者の能力変化を推定したところ、2回とも(1)最適な方法の方が、(2)最不適な方法より0.14～0.18平均能力値の伸びが高いという結果になった。これは、利用するIRTモデルと等化方法の違いによって、その分析結果に影響を与えることを意味し、テスト分析担当者は慎重に使用する分析方法を選択するべきだということを示唆している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
予定通りに筆記テストやアンケート調査の結果データは取得できている。また、筆記テストの項目応答理論による分析も完了した。しかし、テスト受験者が答えたアンケート結果との関係を調査するための分析はこれから始めるところであるが、24年度中に完成する予定である。
|
| Strategy for Future Research Activity |
プログラム評価における事前事後テストデータやその結果分析などの量的研究の部分については順調に進み、ほぼ完了しつつある。今後は学生へのアンケート結果を分析する予定である。そして、これらの量的研究のなかで得られた結果を精査し、授業を履修して非常に成績の伸びた学生と伸びなかった学生をアトランダムに選出し、インタビューを行う計画をしている。研究代表の質的研究に関する経験は、量的研究に比べ豊富とは言えないが、先行研究などから学び正確なインタビュー調査ができるようにしたい。
|
