| 研究概要 |
パフォーマンスを通して,自ら考え,情報収集し,判断し,論理的に結論を導き出す能力の測定についての研究を行った。パフォーマンス・アセスメントで頻繁に指摘されるのは,評定者による主観的評価とそれに関連する評定エラーである。本研究では,まず全米学力調査(NAEP)で評定者トレーニングや評定者エラーのチェックがどのように行われ,その結果どの程度の評定一致度が得られているかについてまとめた。つぎに,評定者エラーに関する先行研究を,記述的指標による検討,一般化可能性理論によるエラー成分の分析,項目反応モデル(FACETSモデル)による評定者効果の分析,の3つに分け,それぞれについて先行研究から得られる知見についてまとめた。その結果,評定者側の要因は,適切なトレーニングと明確な評定基準を与えることで,かなりの程度防げることがわかった。むしろパフォーマンス・アセスメントで問題なのは,どの課題かによる被験者のパフォーマンスの不安定さであった。このことから,パフォーマンス・アセスメントにおいては,コンパクトな課題を数問設け,課題のバランスをとることが必須であるといえる。
つぎに実証研究として,評定基準の詳しさ,評定者数,課題数についての検討を行った。その結果,30分程度のトレーニングでは,評価観点の解釈や得点の与え方を徹底するまでには至らず,評定基準を詳しくして与えても追加的な効果はないということがわかった。また,評価の観点・側面を絞り込んだからといって,評定の一貫性や一致度が高まるとは限らないこと,得点の相対的な順位を用いる場合は少なくとも2人以上の評定者が,絶対的な値を用いる場合は4人以上の評定者が必要になることも明らかになった。また,新たな研究のデザインを考え,そのために必要なパフォーマンス課題の作成と,評定対象者の認知能力的な特徴を知るための課題,質問紙の作成を行った。
|
