「旅」という表題のもとで185編、「貧しさと豊かさ」という表題のもとで144編の小論文をそれぞれ異なった被験者に書かせ、前者については11名の評定者、後者については別の7名の評定者にそれぞれ評定させた。その結果として次のような結論を得た。 1.総合評価の評定者間の一貫性は極めて低い。 2.総合評価の安定性は評定者によってかなり異なり、評定者内一貫性は高いとはいえない。 3.分析的評価のための諸観点は、少なくとも内容に関するものと言語力に関するものとに分類できる。 4.分析的評価の第1主成分は、総合評価と同じ程度の信頼性をもつ。 5.文字の丁寧さに関する評価は評定者間一貫性が高い。 6.総合評価は論文を読んだときの印象と深い関連がある。
|