2017 Fiscal Year Research-status Report
Development of Analytic Evaluation Criteria for Novice EFL Writers
| Project/Area Number |
17K03030
|
|---|
| Research Institution | Teikyo University of Science & Technology |
|---|
Principal Investigator |
馬場 千秋 帝京科学大学, 総合教育センター, 准教授 (50465374)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | L2ライティング / 分析的採点基準 / スローラーナー |
|---|
| Outline of Annual Research Achievements |
本研究では、スローラーナーが書いた英作文を分析的に評価し、よりよいフィードバックを与えるための基準を作成することを目的としている。平成29年度は、（1）学習者へのニーズ分析のデータ収集、（2）ESL Composition Profileを用いて評価できる学習者の基準の検証、(3)ESL Composition Profileの観点を見直し、内容、文章構成、語彙、語数、文法、パンクチュエーション、翻訳によるエラー、課題の完成度の8つの観点での評価の検証を行った。
(1)については、1年分のデータが揃い、平成30年度に結果をまとめ、発表等を行う予定である。
(2)については、9名の日本人英語教員に50名分の英作文を採点してもらい、評価の平均値と学習者の英語力の相関関係、信頼性を得られるための採点者数と項目数について、検討をした。その結果、全体としては英語力と評価の高い相関がないことが明らかとなった。また、Baba(2015)で見られたような、評価基準を使うことができるレベルの閾値を見出すことができなかった。評価項目数が多い場合は、評価者が多くなければ、信頼性が得られないため、この採点基準は見直しをしていくべきであることが判明した。
（3）については、平成30年度に実施予定であったが、採点基準の見直しをする必要があったことから、研究計画を一部変更し、内容、文章構成、語彙、語数、文法、パンクチュエーション、翻訳によるエラー、課題の完成度という８つの観点を用いて、7名の日本人英語教員に採点をしてもらった。その結果、内容、語数、文法が高い相関があり、次に語彙という結果となった。一方、パンクチュエーション、文章構成、翻訳によるエラーという観点は必要がないことが判明した。また、評価の観点が５つあったとしても、3名の評価者がいれば、高い信頼性が得られることが明らかとなった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度に実施予定であった２つのリサーチのうち、学習者のニーズ分析については、データ収集にとどまり、データ分析等がこれからとなるので、当初の計画より遅れが出ているが、平成30年度に持ち越したことで、平成30年度のデータも一部組み込むことができ、より多くの学習者のニーズを得ることができると考える。
ESL Composition Profileを用いての評価結果については、本研究計画を立てる段階で、ある程度予想できていたことであるが、予想以上に評価基準の改良が必要であること、スローラーナー向けの分析的評価基準を再考しなくてはならないことが明らかとなった。そのため、学習者のニーズ調査よりも先に、８つの観点を用いた評価に着手することとなった。このリサーチは、平成30年度に行う予定だったものの前倒しであり、どのような評価基準が必要か、パイロット版の評価基準を作成するための前段階として、必要なものであった。したがって、複数のリサーチを行う中で、順番を入れ替えて行っているため、全体としては、おおむね順調に進んでいると考えられる。
なお、平成29年度には、学会での情報収集は行ったが、海外の大学への視察等は、実施することができなかったため、平成30年度、31年度に行う予定である。
|
| Strategy for Future Research Activity |
平成30年度は、パイロット版のスローラーナー向けの英作文分析的評価基準を作成するが、平成29年度に行ったリサーチ結果を検討しながら、評価観点も精査していく必要がある。スローラーナーが書ける英作文の質、量は限られており、そこに対応することができ、さらに信頼性の高いものとするには、パイロット版を作成しても、何度か評価観点も検討していく必要がある。また、評価観点についても、どのような場合にその点数なのか、という具体的な説明についても、検討を重ねていく必要がある。
特に検討をしなくてはならないのが、語数である。英作文を課す場合、語数制限がある英作文もあるので、語数制限を設けている作文を採点する場合と語数制限が設けられていない作文を採点する場合では、基準も変えていく必要があると考えられる。Baba(2015)で全体的評価基準を作成したときには、語数を入れることで、評価全体が変わってくるという問題があること、語数を重視した英作文を課した場合、英作文の質の面で問題点が多く、必ずしも量と質の双方を正確に評価できるわけではないことが明らかとなったので、語数という観点を外している経緯がある。しかし、今回の場合は、分析的評価であり、全体に影響を及ぼさないため、１つの観点としてとらえていく必要がある。したがって、今後の研究の中で、語数に特化したリサーチを追加することを検討している。
|
| Causes of Carryover |
平成29年度に、研究で使用するためのデスクトップパソコンとノートパソコンを購入予定であったが、平成30年度まで延期することとした。また、海外の大学への視察も、平成29年度に実施する予定であったものを平成30年度と31年度に行うこととした。
したがって、次年度使用額については、平成30年度に繰り越し、物品購入を行う。また、海外大学への視察において、旅費を使用する予定である。
|
