Development of scoring guidelines for ensuring rater reliability in second language (L2) English classroom speaking assessment at senior high schools in Japan

2023 Fiscal Year Final Research Report

• Project/Area Number: 20K00894
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 02100:Foreign language education-related
• Research Institution: University of Tsukuba (2023); Seisen University. (2021-2022); Juntendo University (2020)
• Principal Investigator: Koizumi Rie 筑波大学, 人文社会系, 教授 (70433571)
• Co-Investigator(Kenkyū-buntansha): 深澤 真 琉球大学, 教育学部, 准教授 (00634429) ; 横内 裕一郎 弘前大学, 教育推進機構, 助教 (40782800)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 言語テスティング / 英語テスト / スピーキング能力測定 / 信頼性 / 採点指針 / 採点者

Outline of Final Research Achievements

This research seeks to establish scoring guidelines for ensuring rater reliability in senior high schools. It encompassed three primary initiatives: First, we published an introductory book on speaking assessment, which included scoring guidelines, and relevant scholarly articles. Second, we designed and launched an online Speaking Assessment Portal. Third, utilizing video resources from the Portal, we evaluated rater reliability among Japanese and international English instructors. The findings indicate that an online rater training system is effective in ensuring consistent rater reliability.

Free Research Field

Language assessment and testing

Academic Significance and Societal Importance of the Research Achievements

授業内評価は、形成的・総括的な機能を持つため、評価の質を高め、継続的に実施することが課題となっている。そのためには、スピーキング評価の採点の信頼性の確保が必要であり、本研究はそれに関連する要素の検証と、実証研究に基づいた、採点の信頼性を高める採点指針作成に向けた活動を行った。既存の大規模テスト向けのものは授業内スピーキング評価では適用できないものが多く、国内外でも実証研究が限られていた。また本研究では、採点方法やタスクの種類、評価観点ごとに、教員採点の信頼性を比較するなどし、採点に関連する評価研究の知見を増やし、それを書籍やポータルで社会に還元することができた。