| 研究課題/領域番号 |
22K00808
|
|---|
| 研究機関 | 実践女子大学短期大学部 |
|---|
研究代表者 |
三田 薫 実践女子大学短期大学部, 英語コミュニケーション学科, 教授 (30310337)
|
|---|
| 研究分担者 |
霜田 敦子 実践女子大学短期大学部, その他部局等, 研究員 (40899704)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 第2言語ライティング / 全体評価 / 分析評価 / 自動採点システム / 人工知能 / 機械学習 / 教師あり学習 / 内容の質 |
|---|
| 研究実績の概要 |
日本人学生の英作文力不足は、学生が自分の考えを英語で書く機会が少ないことが要因となっている。英文を書く機会が少ない理由の1つは、英語初級学習者向けエッセイ評価基準が確立しておらず、教員の採点負担が大きいことにある。本研究の目的は英文エッセイの「内容の質」に関する評価基準を確立すること、また学生の英文エッセイと教師評価のデータを人工知能に学習させることにより「英語初級学習者のためのパラグラフ・ライティング自動評価モデル」を開発することである。
本研究では第一に日本人の英語初級学習者の英文エッセイの「内容の質」を測定する評価基準の確立を試みた。エッセイ1本について4段階の基準を含む「分析評価」と、エッセイの良し悪しの印象による4段階の「全体評価」を複数の評価者が行った。両評価の相関分析により「分析評価」の信頼性、妥当性の確立を目指した。
もう1つの試みとして、過去の授業における学生の事前事後の英文データと教師による分析評価を人工知能に学習させ、「英語初級学習者のためのパラグラフ・ライティング自動評価モデル」のデモ版を開発した。このモデルを2022年度授業で学生に使用させ、自動評価モデルの評価と教員評価の一致率を調べた。また学生に自動評価モデルの利用に関するアンケートを行い、その結果を分析した。この自動評価モデルの精度を高め、将来的に公開することにより、英文ライティングの採点の効率化と教員の負担軽減、英文ライティング教育促進の一助となることを目指している。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
学生の英文エッセイ322本の「内容の質」に関して、外部評価者4名（日本人2名、ネイティブ2名）が行った「印象評価」と, 教員2名が行った「分析評価」の相関分析を行った。相関係数はいずれも１％水準で有意であり、いずれの組み合わせも「強い相関がある」（0.7以上）または「比較的強い相関がある」（0.7未満）ことを示した。よって「内容の質」に関する「分析評価」の信頼性と妥当性が一定程度確認されたと考える。
「自動採点システム」については、2020年度と2021年度の英文計995件と教師評価を入力データとして機械学習を行い, 予備調査を行った。本調査では、2021年度3回分のライティングテストの英文512件を機械学習の「教師あり学習」の入力データとして用いて自動採点システムを開発した。またそれを2022年度英語必修科目の授業内で学生に使用させた。2022年度の使用させた学生自身の英文計124件について、自動採点が教師採点と一致した割合は60.5％（75件）で, 初期モデルとしては予想を超える一致率であった．一致しない採点結果のうち80.0％は自動採点と教師採点が1点差のものであった（49件中39件）。
|
| 今後の研究の推進方策 |
今回開発した自動採点システムは、2021年度ライティングテストの英文データを用いている。今後は2021年度データに2020年度データを加えたModel B、さらに2020年度から2022年度までの3年分のデータを用いたModel C、それに2023年度データを加えたModel Dを開発して、自動採点と教員評価の一致率の変化を見ていきたい。
教育への応用としては、英文ライティングの「内容の質」を測る分析評価の評価基準に加えて種々の文法項目を組み込んだ「英文ライティングルーブリック」の確立を目指す。また「自動採点システム」の採点結果と同時に表示される「フィードバック」の役割を果たすものとして、優れた「モデル英文」の掲載を充実させたい。
最終的には、ライティング内容の検討段階から英文作成、スペルエラーと文法エラーの修正、「自動採点システム」を用いた「内容の質」の測定、アウトプットまでの一連の流れが授業の中で容易に取り込めるようなプログラムを構築していきたい。
|
