| 研究概要 |
本研究の目的に従って、高校の場合には、2007年6-7月に、計7校、650名を対象に英語熟達度テスト(52問、45分、prtと略)、ライティング・テスト(文レベル3問、10分、談話レベル2問各15分、30分、記述式、計40分)(WTと略)を実施した。これら2つのテストを受験した641名のデータを使いShaw & Weir (2007)の妥当性検証枠組に従って妥当性検証を行った。採点妥当性については、prtの信頼性は0.912で高かった。WTについては、文レベルの作文のためのタスク実現度I(総合的評価、TR1),談話レベルの作文のためのタスク実現度II(分析的評価、TR2)の評価基準を決定後、模範例の選定、評価者訓練を行った。その後、研究者4人が1クラス分を採点した結果、評定者間信頼性は0.9を越えた。その後は、各自、160〜210余名を採点した。併存的妥当性について、prtとTR1,TR2との相関、TR1,TR2と正確さ、流暢さ、複雑さ、語彙的特徴の指標との相関を分析した。主な発見事項は、prtの作文整序問題からTR1を予測する際に、作文整序問題よりも文法問題、更には、prtの合計点の方がTR1を予測するのに有用でありそうであること、TR2を予測する際、文法問題、prtの合計点から強く予測できないようであること、正確さとprt、正確さ・TR1〜2・複雑さの相関については、問1.1、問1.2において、ほぼ熟達度の上位群、中位群、下位群間に殆ど差がなかったこと、熟達度を見るには文数よりも語数を見るほうが有効らしいこと、特に談話レベルの作文に当てはまること、複雑さの指標と熟達度とは殆ど相関がない又は、弱い相関であること、語彙的特徴については、ギロー指数を使うのが有効らしいことであった。中学校の場合、2008年7月頃に実施したprt(52問、45分)、高校と共通のWTの408名のデータについて、妥当性検証の分析を行った結果は、高校の場合とほぼ同様であった。このShaw & Weirの妥当性検証枠組による検証は、日本で最初のものである。
|
