2022 Fiscal Year Final Research Report

Development of a Semi-Automatic Scoring System using AI

Research Project

PDF

Project/Area Number	20K00797
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 02100:Foreign language education-related
Research Institution	Mie University (2021-2022) Yamagata University (2020)
Principal Investigator	Kaneko Jun 三重大学, 教育学部, 教授 (10331969)
Co-Investigator(Kenkyū-buntansha)	山口常夫東北文教大学, 人間科学部, 教授 (80146745) 大槻恭士山形大学, 大学院理工学研究科, 准教授 (00250952) ミラージェリー山形大学, 地域教育文化学部, 准教授 (90455882) 坂口隆之山形大学, 地域教育文化学部, 准教授 (10436496) 畠山研秋田大学, 教育文化学部, 講師 (10804891)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	AI / 機械学習 / 評価 / パフォーマンステスト / 英語 / 言語習得 / BERT
Outline of Final Research Achievements	The system created and implemented in this research, a Semi-Automatic Scoring System using AI, showed much potential for future application. As the technology of Speech-Recognition improves and becomes more precise with each passing year, user-friendly tools are becoming available to transcribe voice into texts. After transcription, the language data can then be scored, and the results quantified, by a computer (AI). Lastly, English teachers can make the final decision after confirming the scores. In this study, the Semi-Automatic Scoring System has made meaningful progress in evaluating elementary school, junior high school, and high school English performance tests. This system seems to reduce the English teachers' workload and ensure objectivity and fairness about the standard of scoring of the performance test. This system could be recommended for its benefit to teachers and its practicality.
Free Research Field	英語教育
Academic Significance and Societal Importance of the Research Achievements	研究成果の学術的意義や社会的意義は3つある。1つ目は、不可能であるように思われた、パフォーマンステストの自動採点は、コンピュータで数値化・採点する第一段階と、その結果を教員が確認する第二段階とに分けた、「半自動採点システム」とすることにより、課題はあるものの、実現可能性が高いことを明らかにした点である。2つ目は、評価項目のいくつかを何らかの特徴量によって定量化したことにより、教員の採点時の負担を軽減するのみならず、評価基準の客観性や公平性への不安を和らげる効果があることを示唆できたことである。3つ目は、BERTなどの自然言語処理技術を実装、精度を高め、半自動採点の可能性をより高めたことである。