2023 Fiscal Year Annual Research Report
Developing and validating an online tool for learning and teaching how to write summaries in English
| Project/Area Number |
20H01292
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
澤木 泰代 早稲田大学, 教育・総合科学学術院, 教授 (00276619)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
徳永 健伸 東京工業大学, 情報理工学院, 教授 (20197875)
石井 雄隆 千葉大学, 教育学部, 准教授 (90756545)
山田 寛章 東京工業大学, 情報理工学院, 助教 (70855882)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 要約ライティング / アカデミック・ライティング / 授業内評価 / 自動フィードバック / ICT教育 / 統合型ライティング / 形成的評価 |
|---|
| Outline of Annual Research Achievements |
科研の最終年度となる2023年度は、集大成として以下３点を主に研究を実施した。
【１】教材開発：日本の大学生を対象とする要約ライティング形成的評価のためのオンライン学習教材の更なる機能の向上をはかると共に、新たに追加したピア評価メニューの試行テストを行い、ライティング授業で円滑に運用できることを確認した。また、学習者・教員用両方のスコアレポートを改修し、要約解答におけるパラフレーズの適切性分析結果を容易に閲覧できるよう修正した。
【２】教材で提供するフィードバックの有用性の検証：本教材を学部アカデミック・ライティング授業に導入した首都圏の大学2校（計250名程度が参加）のうち1校（100名）について、フィードバックに応じた学生の要約修正内容分析と共に、学習者のアンケート調査と授業担当教員4名のインタビューによる本教材に対する意識調査を行った。その結果、学生は要約の質向上につながる意義深い要約解答修正を行っていること、また学生・教員の双方が本教材を利用した学習・評価活動や要約解答フィードバック内容の有用性について高く評価していることを確認した。
【３】大規模言語モデル（LLM）による自動フィードバック生成：2022年度に検討を始めてその後加速した、LLMによる要約内容評価用チェックリストの機能強化に関する分析を優先して進めた。その結果、通常のライティング科目規模の授業（25名を想定）でも、プロンプトのデザインと評価項目の組み合わせによっては、教室での使用に耐える程度の教員の評価結果との一貫性を示す結果を得た。（尚、2023年度はこれまでに収集したデータをまとめ、要約ライティングにおける日本の大学英語学習者の強みと弱みやパラフレーズの質に関する量的分析を進めることを当初予定していた。こちらについては、今後もデータベースを整えつつ、データ収集と分析を継続して行っていく所存である。）
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
-
-
[Presentation] Designing automated feedback on source text content representation in a web-based formative assessment module for L2 summary writing.2023
Author(s)
Sawaki, Y., Gecchele, M., Yamada, H., & Tokunaga, T.
Organizer
Symposium paper presentation, the 44th Language Testing Research Colloquium, New York City, NYC.
Int'l Joint Research
-
-
