2023 Fiscal Year Research-status Report
英語初級学習者のパラグラフ・ライティング評価基準の確立と自動評価モデルの開発
| Project/Area Number |
22K00808
|
|---|
| Research Institution | Jissen Women's Junior College |
|---|
Principal Investigator |
三田 薫 実践女子大学短期大学部, 英語コミュニケーション学科, 教授 (30310337)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
霜田 敦子 実践女子大学短期大学部, その他部局等, 研究員 (40899704)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 第2言語ライティング / 自動採点システム / 人工知能 / 機械学習 / 教師あり学習 / 内容の質 / 全体評価 / 分析評価 |
|---|
| Outline of Annual Research Achievements |
日本人学生の英作文力不足は、学生が自分の考えを英語で書く機会が少ないことが要因となっている。英文を書く機会が少ない理由の1つは、英語初級学習者向けエッセイ評価基準が確立しておらず、教員の採点負担が大きいことにある。本研究の目的は英文エッセイの「内容の質」に関する評価基準を確立すること、また学生の英文エッセイと教師評価のデータを人工知能に学習させることにより「英語初級学習者のためのパラグラフ・ライティング自動評価モデル」を開発することである。
本研究では以下2つを試みた。
1つ目は日本人の英語初級学習者の英文エッセイの「内容の質」を測定する評価基準の確立である。エッセイ1本について4段階の基準を含む「分析評価」と、エッセイの良し悪しの印象による4段階の「全体評価」を複数の評価者が行った。両評価の相関分析により「分析評価」の信頼性、妥当性の確立を目指した。
2つ目は、過去の授業における学生の事前事後の英文データと教師による分析評価を人工知能に学習させ、「英語初級学習者のためのパラグラフ・ライティング自動評価モデル」のデモ版を開発した。このモデルを2022年度授業と2023年度授業で学生に使用させ、自動評価モデルの評価と教員評価の一致率を調べた。また学生に自動評価モデルの利用に関するアンケートを行い、その結果を分析した。この自動評価モデルの精度を高め、将来的に公開することにより、英文ライティングの採点の効率化と教員の負担軽減、英文ライティング教育促進の一助となることを目指している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度は2020年度1回目から2023年度1回目までの計10回分のライティングテストの英文1506件を機械学習の「教師あり学習」の入力データとして用いて自動採点システム（Model C）を開発し、それを2023 年度英語必修科目の授業内で学生に使用させた。
2023年度の英文の計106 件の自動採点が教師採点と一致した割合は49.1% であった。Model C の自動採点と教師採点の相関係数は、.600（1％水準で有意）で、「比較的強い相関がある」（0.4～0.7）ことを示している。Model C は106 件のうち、52 件で採点結果が教師採点と一致しており、また差が1 の採点が49 件、合わせて101 件（95.3%）が教師採点との差1以内に収まった。
自動採点システムを授業で導入する前後の学生の英文の変化については、学年末のLevel 4（最高レベル）のエッセイの割合が、導入前の2021 年度は24％であるのに対し、導入後の2022年度と2023年度は両年度とも49％と、倍以上に増加していた。向上の要因としては、１）自動採点システムで採点結果が瞬時に表示されるため，学生自身が目指すべきレベルが明確になる、２）採点結果と同時に表示される1つ上のレベルの英文サンプルから内容の質向上のヒントが得られるといった理由が考えられる。
自動採点システムを利用した学生のアンケート回答をテキストマイニングで分析した結果、多くの気づきを英文サンプルから得ていることが確認でき、フィードバックとしての良い見本（典型例文）の効果が確かめられた。また自動採点システムが英語学習に役立つ、英文作成の改善につながる、今後も活用したいとする意見が多数見られた。
|
| Strategy for Future Research Activity |
2024年度は、現在急速に普及しつつある生成AIを自動採点システムに導入する試みを行う予定である。2023年度までは「機械学習」の「教師あり学習」により「自動採点システム」を開発した。2024年度はこのシステムに用いた英文データベースを生成AIの大規模言語モデルに入力し、自動採点と教師採点の一致率を調べたい。また2024年度より実用技能英語検定（英検）のWriting試験に導入された「英文要約問題」の準備となる自動評価システム開発の可能性を検討していきたい。これらの開発により、高校や大学の教師の負担が軽減されながら、学生の英文ライティングの機会が増え、また効果的なライティング学習につながることを期待している。
最終的には、ライティング内容の検討段階から英文作成、スペルエラーと文法エラーの修正、「自動採点システム」を用いた「内容の質」の測定、アウトプットまでの一連の流れが授業の中で容易に取り込めるようなプログラムを構築していきたい。
|
| Causes of Carryover |
発表を予定していた学会の日程調整が難しく出張ができなくなったため、残額が出てしまった。そのため、その費用は２０２４年度は海外の学会発表に充てる予定である。
|
