| 研究概要 |
タスクに基づくライティングテストに関連する要因(評定者,被験者能力,タスク)が、相互に影響し合う度合いについてFACETS分析を行ったところ、1)20名の被験者のライティング能力を7段階に評定することができた、2)5名の評定者はタスクに対して独自の評価バイアスを持たずに一貫した評定を行うことができた、3)2種類の評価タスクによる測定結果には一貫性があり、難易度はほぼ同程度であった、4)2種類の評価タスクそれぞれの評定尺度には一定の信頼性があることが確認された、5)5名の評定結果には、それぞれ特定の被験者に対するバイアスの影響が見受けられた。また評定結果の妥当性については、20名の被験者のCriterionスコアとの相関係数による検証を行ったところ、2種類の評価タスクによる測定結果との相関が高く、一定の併存的妥当性が認められた。さらに、評定者を対象とした質問紙法による調査結果によると、1)評定尺度の5段階評価基準および段階別評定サンプルは理解しやすく、評定作業を行う上で有益であった、2)スコアリングガイドは5名の評定者に評価対象となるライティング能力についての共通理解を促す上で効果的であったことがわかった。2年次以降の課題として、1)思考表出法(think aloud)による調査などにより、評定者がどのような評定行動を行っているのかを明らかにする、2)新たな評価タスクを開発し、その信頼性・妥当性について検証を行う、3)評定者トレーニングの有効性に関する実証研究を行う必要がある。
|
