| 研究概要 |
思考表出法(think aloud)による評定行動の分析結果に基づき、開発されたタスクに基づくライティングテスト(Task-based Writing Performance Test:TBWT)におけるAccuracyおよびCommunicabilityの評価基準の妥当性検証を試みた。プロトコル・データを分析した結果、Accuracyの評定においては文章構成力の観点における「文章の構成・展開」および言語的正確さの観点における「文法的誤り」に基づく評価行動が最多であった。また、Communicabilityの評定においては伝達内容の質における「考え方や意図の明瞭さ」および情報伝達の効果における「情報量(理由の数)」に基づく評価行動が最多であった。これらの結果は、評定者が主要な尺度の特徴として「文章の構成・展開」「文法的誤り」「考え方や意図の明瞭さ」「情報量(理由の数)」に着目し、評価行動を行っていたことを意味する。さらに、各カテゴリーは25.0%,16.7%,29.5%,16.7%とバランスよく適切に活用されており、TBWTの評価基準は、評定者を妥当な評価行動に誘導したことが明らかになった。
評定者トレーニングの有効性に関しては、実践経験5年以下の中学校教員5名(Trained raters:TRN)を対象として個別に事前トレーニングを実施してから行われた評定結果と、実践経験10年以上中学校教員5名(Untrained raters:UNTIRN)が事前トレーニングを受けずにスコアリング・ガイドのみによって行った評定結果の比較研究を試みた。その結果、TRNはライティングの指導・評価経験が未熟であるにも関わらず、UNTRNよりも一貫した評定を行ったことが明らかになった。
なお、新たな評価タスクをAccuracy,Communicabilityそれぞれ4種類ずつ開発し、TBWT評定経験を持つ3名の中学校教員に「タスクの困難さ(task difficulty)」の専門家評価を依頼した。選定された新タスク(New)と、これまでの研究に置いて信頼性・妥当性が確認されているタスク(Original)を大学生学習者24名に課し、2名のTBWT評定経験者が評価を行った。結果については現在、分析中である。
|
