|
作文を使って「書く能力(Writing ability)」を評価する際に、その得点に関して誤差要因として働くものとして書き手(writer)、題目(topic)、形式(mode)、時間制限(time-limit)、テスト状況(examination situation)、評定者(rater)および、評価の方法や観点、その配点などがあげられる。日本留学試験「記述問題」では、受験者に2つのトピックのうち一方を選ばせ、さらに2つの意見を提示し、そのいずれに賛成するか、根拠を挙げて意見文を20分以内に400字で書くように指示される。この方法で妥当な「書く能力(Writing ability)」が測れるのか、実証的に検討を行った。
まず、書き手の要因として練習効果を取り上げた。練習をしていない日本語学校の受講者は、20分で400字を書くことが難しく、段落構成なども低い評価をされた。それに対し、事前に「記述問題対策講座」を受講した学習者は、早いスピードで400字を埋めることができるようになり、内容も意見を述べ、それに対する根拠を2ないし3上げ、最後に結論を書くといったまとまった文章が書けるようになる。このことから、練習をすることによって、比較的短時間に学習者の得点をあげることができ、学習者間の幅を小さくしていると結論づけた。
また、異なるトピックについて書いた同一学習者の作文を独立に評価したとき、さらに異なる文の種類に関しても、同一学習者に両方のタスクを与え、比較を行った結果、相関係数が0.6から0.7であった。このことから、一方の作文の評価から他方を予測するには、誤差が大きく、日本留学試験のような重要な決定に関わる試験の方法として、2つの異なるトピックから一方を選ぶ方法は問題があることを指摘した。さらに、大学での勉学生活では意見文のみならず、参考図書など長い文を読んで要約文を書いたり、図や表の説明を書いたり、実験の手順を書く等、さまざまな文章を書くことが求められる。試験の波及効果を考えたとき、意見文のみを書かせる固定した方法にも問題があることを示した。
これらの実証研究を行うにあたり、3名の日本語教師に謝金を支払い、評価を依頼した。なお、「書く能力(Writing ability)」の評価に関する文献を収集し、まとめる作業をおこなっている。
|
