Developing and validating an online tool for learning and teaching how to write summaries in English

Research Project

Project/Area Number	20H01292
Research Category	Grant-in-Aid for Scientific Research (B)
Allocation Type	Single-year Grants
Section	一般
Review Section	Basic Section 02100:Foreign language education-related
Research Institution	Waseda University
Principal Investigator	澤木泰代早稲田大学, 教育・総合科学学術院, 教授 (00276619)
Co-Investigator(Kenkyū-buntansha)	徳永健伸東京工業大学, 情報理工学院, 教授 (20197875) 石井雄隆千葉大学, 教育学部, 准教授 (90756545)
Project Period (FY)	2020-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2021)
Budget Amount *help	¥13,780,000 (Direct Cost: ¥10,600,000、Indirect Cost: ¥3,180,000) Fiscal Year 2022: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000) Fiscal Year 2021: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000) Fiscal Year 2020: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Keywords	要約ライティング / アカデミック・ライティング / 授業内評価 / 自動フィードバック / ICT教育
Outline of Research at the Start	本研究では、英語での学業従事や研究遂行上欠かせない要約の書きかたの学習・指導と評価のための大学英語アカデミック・ライティング授業用オンライン教材を開発し、その妥当性を検証する。潤沢な学習者用フィードバックを特徴とする学習管理システム（LMS）用教材を作成し、国内複数大学に在籍する学生の教材学習記録や教員インタビュー結果などを多方向から分析することで、本教材で提供する要約学習・練習メニューや解答フィードバックを介した学習の効果と、教材使用者（教員と学生）の視点からの本教材の意義を実証的に検証する。
Outline of Annual Research Achievements	本科研実施1年目にあたる2020年度は、①今後オンライン教材に組み込む予定の要約指導・評価資料内容の検討と②オンライン教材・要約解答分析用ツールのプログラミングを中心に活動した。 ①要約指導・評価資料内容の検討：今後使用予定の要約タスク、評価基準、指導教材内容の適切性を検討するため、首都圏の私立大学一校でアカデミック・ライティング授業を履修中の学部生107名と同授業担当者6名からデータ収集を行った。学生は要約課題に解答し、その採点結果とスコアレポートを受け取った。アンケートの結果から、スコアレポートに示されるフィードバック内容は概ね適切で役立つと学生は受け止めたことが示された。一方で、評価基準内容を学生が十分理解できるように、よりわかりやすいコメント提示方法を検討する必要性が明らかになった。また教員6名のインタビュー結果からは、タスク内容や評価基準、また教員用採点基準説明資料の適切性が示された。それと同時に、通常の授業に本科研で開発する課題を導入したり自らが採点を行ったりする場合の課題やそれを解決するための方向性について、様々な貴重な意見が得られた。 ②プログラミング：上記①の内容を受けて、外部業者への委託によりウェブベース教材のプログラミングを開始した。また、学生の要約解答が提示された資料文の要点を適切に含んでいるかを分析する上で不可欠となるidea unit(IU)分析を効率化するためのオンラインツールを作成し、チーム内での意見交換を行った。また、評価基準の妥当性検証：要約解答採点のために開発した「内容」「言語」の採点尺度の理論的背景と採点結果の一般化可能性検証結果を論文にまとめ、分担執筆書籍の章として出版した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 全体的に概ね順調に進んでいる。オンライン教材のプログラミングについては当初の予定より早く進行しており、これは様々なオプションを検討した結果、プログラミング作業を外部委託としたことが大きい。オンラインのidea unit（IU）分析ツールもプロトタイプが予定通り完成し、今後は小規模のパイロット・テストを重ねていく予定である。また、令和2年度に実施した学生と教員の調査結果から、関連する前科研費プロジェクト（基盤研究C一般、課題番号16K02983「日本人大学生の英語要約力検証と大学英語ライティング教育用要約教材の開発」）で作成した要約タスクや関連教材・評価資料は概ね本科研費での使用が適切であり、大幅なデザインの変更等を必要とするものではないと確認できた。よって今後は各種資料をオンライン化し、令和2年度の調査で得られた学生・教員参加者からのフィードバックを基に、更なる教材内容の充実と、ユーザーインターフェースを使いやすくするための工夫に注力することが可能と判断した。
Strategy for Future Research Activity	上述の通り、教材のオンライン化とidea unit（IU）分析ツールについては、これまでのプログラミング作業とパイロット・テストを継続し、より良いシステムへと仕上げていきたい。一方で、令和3年度は①本科研で使用する要約力の評価基準（「内容」「要約」）の妥当性検証を続けると共に、②学生の要約力における強みと弱みの特定に関する実証研究に本腰を入れたい。 ①採点基準の妥当性検証：これまで調査対象としていた学生層よりも英語ライティング力の幅が広い学生層からも要約解答収集を行い、現在の評価基準がより幅広い能力値を測定するうえでうまく機能するかを中心に検証する。また、これまでの学生の要約解答分析結果から、本文内容を適切にパラフレーズする力の重要さが確認できる。よって採点基準の追加も含めて、より具体的で学生の気づきや学びにつながるパラフレーズに関するフィードバック・デザインの検討を進めたい。 ②学生の要約力における強みと弱みの特定：今年度中には計画している量的分析を実施するのに必要な学生の要約解答が十分集まる見込みである。学生の自己評価結果や様々な要約内容特徴量に関する統計分析を本格化して要約ライティングにおける強み・弱みの傾向についてまとめ、教員のインタビュー結果とも合わせて望ましいフィードバック方法や指導のあり方への示唆を導き出したい。