| 研究課題/領域番号 |
24K00095
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分02100:外国語教育関連
|
|---|
| 研究機関 | 早稲田大学 |
|---|
研究代表者 |
澤木 泰代 早稲田大学, 教育・総合科学学術院, 教授 (00276619)
|
|---|
| 研究分担者 |
山田 寛章 東京科学大学, 情報理工学院, 助教 (70855882)
石井 雄隆 千葉大学, 教育学部, 准教授 (90756545)
|
|---|
| 研究期間 (年度) |
2024-04-01 – 2028-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
16,120千円 (直接経費: 12,400千円、間接経費: 3,720千円)
2027年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2026年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2025年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2024年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
|
|---|
| キーワード | 要約ライティング / アカデミック・ライティング / 形成的評価 / 自動フィードバック / ICT妥当性 / 大規模言語モデル |
|---|
| 研究開始時の研究の概要 |
本研究では英語での学業や研究遂行上欠かせない要約ライティング力の育成を目指して、要約の書き方の学習から形成的評価までができる大学英語アカデミック・ライティング授業用オンライン教材を開発し、学習者や教師による本教材で提供する様々な種類の自動フィードバックや学習振り返り用資料の活用状況と、その効果を言語テスト妥当性の観点から系統立てて検証する。英語教育と自然言語処理研究者の連携により本研究を遂行し、要約、学習評価、自動ライティング評価、フィードバック自動生成の各研究分野への寄与を目指す。
|
| 研究実績の概要 |
4年間の本科研で実施を予定している４つの研究課題のうち、2024年度は特に以下の2つに重点を置いて研究を行った。
【研究課題１：自動内容フィードバックの一貫性の検証】ルーブリック評価基準を細分化し、自動フィードバック用に作成したチェックリスト（13項目）に関する、教員による採点結果と大規模言語モデル（LLM）との評価結果の一致度について、複数の観点から実証研究を行った。実証研究①においては、項目間で一致度にばらつきはあるものの、教室での指導・学習に使用するフィードバックとして概ね良好な結果を得た。また、両者が不一致の場合はLLMの方が厳しい採点結果を返す傾向を示したため、今後更に質的かつ詳細な検証を続ける必要性を確認した。それに続く実証研究②と③では、プロンプトに例を組み込むFew-shot 学習、採点基準の自動展開、そして要約内の重要な概念や表現の自動アノテーションを組み合わせることで、教員とLLM間でのチェックリスト採点結果一致率が高められることを確認た。
【研究課題４：フィードバックの効果とその有用性に関する学習者・教員の意識調査】前科研（20H1292）から継続して開発・検証している形成的評価用教材W-Writingに関する実証研究結果をまとめた。64名の大学A学部生の要約回答分析の結果、本教材使用後に学習者の要約回答内容に関する複数の観点において向上がみられた（ただし対照群を伴う介入実験ではないため、解釈には注意が必要）。またB大学学部1年生の要約回答60件の分析結果においても上記を支持する結果を得た。さらに、学生81名の質問紙調査とライティング科目担当教員4名へのインタビュー調査の結果、学習者と教員のいずれもW-Writingで提供する要約内容に関する自動フィードバックの要約ライティング学習への有用性について、概ね肯定的であるとの結果を得た。
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
本科研で実施予定の4研究課題のうち、2024年度に重点的に進めた2課題については、研究成果を口頭発表や学術誌論文の形で公表することができた。研究課題１については、チェックリスト採点へのLLMの応用可能性を確認するだけでなく、LLMの採点精度向上に資するプロンプト・エンジニアリングの手法を提案するに至った。その成果は2本の国内学会口頭発表（藤田他, 2024年9月, 2025年3月）に結実しており、当初の予定より早く研究が進んでいる。研究課題４については、本科研で開発・検証を行っているW-Writingの理論的基盤とその有用性を示す実証研究結果を2本の査読付き論文として国際誌（オープンアクセスジャーナル）から出版した（Sawaki et al., 2024a, 2024b）。
尚、他2つの研究課題（研究課題２：学習者の要約ライティングにおける強み・弱みの特定、研究課題３：学習者・教員によるフィードバック活用）については、2024年度を準備の年と捉えて進めてきた。研究課題２については大規模な量的分析を予定しているため、それに備えてデータの蓄積を続けている。また研究課題３は学習者の回答プロセスを分析するための刺激再生法とインタビューによるデータ収集を2024年度に完了しており、2025年度以降は本格的な質的データ分析・執筆等の備えは十分である。よって、総じて4課題とも順調に進んでいると考える。
|
| 今後の研究の推進方策 |
2025年度は、2024年度に成果が得られた研究課題１と４については一層の充実を図るべく、次のステップを検討する。また研究課題２と３については、2024年度の準備をふまえて本格化する。
【研究課題１：自動内容フィードバックの一貫性の検証】2025年度は、2024年度までに開発した自動チェックリスト採点手法を更に改善することを目指す。また、同手法が異なる複数の英文（資料文）に対しても適用可能か、チェックリスト採点以外の類似タスクにも応用可能かの検証を行う。また、2024年度の研究結果に関する実証研究①の結果は国際学術誌に投稿中であり、2025年度に出版を目指す。
【研究課題２：学習者の要約ライティングにおける強み・弱みの特定】2025年度は大規模データ分析に必要なデータベースが準備できる予定であるため、人手による要約回答採点を進めると共に、統計分析を進める。2026年度の論文出版を目指す。
【研究課題３：学習者・教員によるフィードバック活用】2025年度は昨年度収集したデータの分析結果を10月に台湾で実施されるSymposium on Second Language Writing 2025において発表し、その発表内容を基に2026年度に論文出版を目指す。
【研究課題４：フィードバックの効果とその有用性の検証】2024年度に出版した論文2点（Sawaki et al., 2024a, b）での研究成果を踏まえ、更に詳しい調査が必要となる、W-Writingで提供する要約回答に関する4種類の自動フィードバックに対する学習者の意識調査用質問紙デザインをより一層充実させると共に、大学アカデミックライティング授業によるデータ収集を継続する。また、2024年度に実施した、学生を対象とするインタビュー調査結果に関する日本語論文を執筆の予定である。
|
