2018 Fiscal Year Research-status Report
Development of Analytic Evaluation Criteria for Novice EFL Writers
| Project/Area Number |
17K03030
|
|---|
| Research Institution | Teikyo University of Science & Technology |
|---|
Principal Investigator |
馬場 千秋 帝京科学大学, 教育人間科学部, 准教授 (50465374)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | L2ライティング / 分析的評価基準 / スローラーナー / 採点者間信頼性 / 妥当性 |
|---|
| Outline of Annual Research Achievements |
平成30年度は、平成29年度中に行ったリサーチ結果をもとに、パイロット版の英作文分析的評価基準を作成し、日本人英語学習者、特にスローラーナーにも対応する分析的評価基準として必要な項目を調査した。
評価項目は語数、語彙、文法、内容である。語数については、２つの指標を設け、語数そのものを、6－25語、というように、評価基準に示し6段階で評価する指標と、テーマについて記述するのに必要な語数か、不足しているのか、といったような形の指標とを設けた。その毛結果、語数そのものを評価基準にした場合、採点者間信頼性は高く、特に英語を不得意としたスローラーナー向けには、わかりやすい指標である。また、内容に関する指標も採点者間信頼性が高い結果となった。その一方で、文法や語彙に関する指標が曖昧な記述であるため、採点者にとっては、採点しにくいものとなった。
必要な採点者数であるが、今回のパイロット版の場合、4つの観点を用いると、3名、5つの観点を用いると2名の採点者であれば、高い信頼性が得られることが明らかとなった。しかし、文法と語彙についての指標が曖昧であることから、採点者間信頼性が低いことは大きな問題であり、さらに修正を行う必要があるという結果となった。また、語数については、本研究の採点者へのアンケート調査からも、非常にわかりやすく、採点しやすいという回答が多く、分析的評価基準の場合、１つの指標として入れるべきであるということが明らかとなった。
平成29年度中にデータ収集を行っていた学習者のニーズ分析も行った。その結果、学習者は、複数の観点からの評価を好むこと、特に内容や文法についての評価やフィードバックを求めていることが明らかとなった。さらに、教員からのコメントなどを通じて、ラポールづくりが可能となること、学習者の動機付けにもなることが明らかとなっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
パイロット版の英作文分析的評価基準を作成し、信頼性を検証し、問題点が浮かび上がってきている。本研究の3年目の後半には、パイロット版を修正し、完成に近づけるものとする予定でいたため、ほぼ順調に進めることができている。よりよい評価基準にするため、平成30年度に収集したデータを見直し、評価基準の問題点については、インタビュー調査も行い、精査していく予定である。
学習者のニーズ分析についても、データ分析をした結果、複数の観点から評価をしてもらうことやフィードバックをもらうことが好まれていることが明らかとなった。特に内容や文法についてのフィードバックと評価が効果的であることから、評価基準には不可欠である。
平成30年度は、予定していた学会での成果報告および情報収集を行ったが、海外の大学への視察は実施することができなかったため、3年目となる令和元年度（2019年度）に行う予定である。
|
| Strategy for Future Research Activity |
令和元年度は、平成30年度に作成したパイロット版のスローラーナー向けの英作文分析的評価基準を再度見直し、平成30年度に収集したデータを再検討しながら、評価観点、評価基準を修正していく作業を行う。
また、パイロット版で語数については評価基準としてあったほうがよいという結果が出ているので、Baba(2015)で行ったTimed Writingを今回改めて実施し、時間内にどのくらいの語数が書けるのか、また内容、文法、語彙についての評価と比較した場合、同等のものとして扱ってよいのかを検討する。この研究を組み込むことで、評価基準と観点によりよい項目を取り入れることが可能となる。
|
| Causes of Carryover |
平成30年度に実施した研究については、継続して、インタビューを行うため、謝礼等も令和元年度に計上する予定である。そのための未使用分もあり、次年度への使用となる。
また、令和元年度は、国際学会や国内での学会での成果発表や資料収集で主として使用する予定である。
|
