2021 Fiscal Year Annual Research Report
Developing and validating an online tool for learning and teaching how to write summaries in English
| Project/Area Number |
20H01292
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
澤木 泰代 早稲田大学, 教育・総合科学学術院, 教授 (00276619)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
徳永 健伸 東京工業大学, 情報理工学院, 教授 (20197875)
石井 雄隆 千葉大学, 教育学部, 准教授 (90756545)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 要約ライティング / アカデミック・ライティング / 形成的評価 / 自動フィードバック / 統合型ライティング / 採点支援システム |
|---|
| Outline of Annual Research Achievements |
本 科研実施2年目にあたる2021年度は、次の2つの活動を主軸とした。
１．オンラインモジュールの試行テスト
2020年度に開発を開始したオンラインモジュール試行版のプログラミングを完了し、秋学期に首都圏私立大学1校の学部1・2年生ライティング科目履修者を対象に試行テストを実施した（参加者：学生163名、教員1名）。各参加者はこのモジュールを通じて要約課題2つを完成した。うちタスク１では第１稿提出後、学習者は振り返りの活動として複数のフィードバック（原文からの要点の抜き出し、アウトライン、パラフレーズの適切性と要約内容に関する自己評価）をもとに修正版を完成し、その後力試しとしてタスク２に取り組んだ。事後アンケートの結果、8割以上の参加学生が上記の各フィードバックは役に立ったと解答した。また2クラス分（64名）についてより詳細な分析を行った結果、フィードバックの提示により「内容」「言語」の得点や原文の要点のカバー率、パラフレーズの適切性においてタスク１初稿と修正版間で統計的に有意な向上が見られ、タスク２においてもタスク１初稿との比較において同様の効果が確認された。結論として、形成的評価を目的とする本教材のフィードバックの妥当性を概ねサポートする結果が得られた。
２．要約解答の採点・分析ツール試行版の開発
本科研では、要約解答の内容が、原文のどの部分をどの程度反映しているか特定する目的でidea unit分析を行っている。そのidea unitへのセグメント化と、そのそれぞれを原文の対応箇所に紐づける作業をサポートするための分析ツール試行版を完成した。また小規模で分析に本ツールを利用し、得られた分析結果を基にidea unitのセグメント化と紐づけの自動化に向けた検証を実施した。セグメント化においては一定程度の一貫性が確認できた一方、紐づけについては更なる改良の余地を示す結果を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
全体的に概ね順調に進んでいる。
１．当初予定していた通り、オンライン教材試行版のプログラミングが2021年度に完成したことで、本教材の学習効果や形成的評価システムとしての妥当性検証を目的としたさまざまな実証研究を残り2年間継続して実施する体制が整った。また、2021年度に実施した本教材の試行テストにおいて、教材で提示するフィードバックの妥当性について概ね良好な結果を得た。よって今後は現在のフィードバック内容を基盤としつつ、スコアレポートや、ライティング授業における要約ライティング指導・評価活動をサポートする機能の充実に注力することができると判断した。引き続き大学ライティング授業における要約解答データや学習者・教員の意識やフィードバックの収集を継続し、教材内容の改良を重ねていきたい。
２．予定通りIdea unit（IU）分析ツールのプロトタイプが予定通り完成し、小規模のパイロット・テストにより今後IU分析の自動化を検討していくための布石を打つことができた。
３．学習者の強みと弱みに関する大規模な分析はまだ実施しておらず、この点は当初の予定より若干遅れ気味であるが、2021年度試行テストにおいては、これまでの本科研結果と同じく学習者の「内容」に関するスコアが「言語」に較べて概ね低い傾向や、マクロ・ルールの使用に関する学生の自己評価が全体的に低い傾向にあるなど、より大規模な分析を進める準備は順調に進んでいる。一方で、「内容」の採点尺度について、妥当性の面からその定義の再吟味の必要があると判断した。よって2022年度はそちらの検証と修正をまず行い、その後学習者の要約ライティング力の強みと弱みに関するより大規模な分析を実施する予定である。
|
| Strategy for Future Research Activity |
2022年度は 、過去2年間に開発したオンライン学習教材と分析ツールプロトタイプのパイロット・テストを継続すると共に、様々な観点からフィードバックシステムの有用性や妥当性に関する実証研究を検証する。
１．研究課題１（「要約ライティング力における日本の大学英語学習者の強みと弱みは何か」）：大学アカデミック・ライティング履修学生を対象としたデータ収集を継続する。得られた学生の要約解答とアンケート調査結果は、学習者の要約力について、要約解答の「内容」「言語」2観点からの採点結果やマクロ・ルールの使用頻度をはじめとする要約内容特徴量、（3）複製箇所の頻度・長さやパラフレーズの度合などを中心に、強みと弱みを特定するための量的分析を実施する。また、学習者の要約作成プロセスの質的も検証も並行して行い、教材デザインの改良に役立てる。
２．研究課題２（「教員は採点基準や採点方法を理解し、一貫した採点ができるか」）：要約の「内容」「言語」2観点の評価基準を基にした要約採点結果の一貫性に関する分析を継続する。また、採点尺度妥当性検証の観点から、現在使用している「内容」評価基準の定義の吟味と、必要に応じた修正を行い、採点者にとっての採点のしやすさ、採点結果の一貫性、学生・教員にとってのわかりやすさ等を、採点結果の量的分析やアンケート調査等により検証する。
３．教材で提供するフィードバック自動化の検討：上記１の分析結果を基に、本教材で提供するフィードバックのうち、要約解答の「内容」フィードバックを一部自動化する方法の検討を進める。
４．オンライン教材プロトタイプのパイロット・テスト：過去2年間に開発した教材のモジュール群（学習、練習、振り返りなどの各メニュー）プロトタイプ内のピア評価やスコアレポート機能を拡充し、パイロット・テストを行う。
|
