2022 Fiscal Year Annual Research Report
Developing and validating an online tool for learning and teaching how to write summaries in English
| Project/Area Number |
20H01292
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
澤木 泰代 早稲田大学, 教育・総合科学学術院, 教授 (00276619)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
徳永 健伸 東京工業大学, 情報理工学院, 教授 (20197875)
石井 雄隆 千葉大学, 教育学部, 准教授 (90756545)
山田 寛章 東京工業大学, 情報理工学院, 助教 (70855882)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 要約ライティング / アカデミック・ライティング / 授業内評価 / 自動フィードバック / ICT教育 / 統合型ライティング |
|---|
| Outline of Annual Research Achievements |
2022年度の研究実績は主に2つにまとめられる。第一に、2020・2021年度に開発したオンライン学習教材モジュール群をより妥当なものにすることを目指し、試行テストの継続や要約解答採点基準の修正、そして機能拡充のための改修を行った。2021年度に続き、首都圏の大学の学部1年次英語アカデミック・ライティング授業担当者の協力を得て、授業履修学生計100名について教材の試行テストを実施した。結果は2020年度と類似しており、本教材で提供する様々なフィードバックに対する学生の満足度は概ね高く、学生は提示されるフィードバックに注目し、その情報を解答の修正版作成にある程度役立て、解答内容の質的向上につなげていることが確認できた。また、これまで学習者や教員から得られたコメントや先行研究の再吟味により、本教材で使用している要約評価基準を、これまでの「内容」「言語」の2観点から「内容」「パラフレーズ」「言語」の3観点へと変更するべく、採点者間での検討を重ねた。また、スコアレポートの内容充実や、授業における利便性向上のための相互評価機能追加を主とするシステム改修を行った。
第二に、教材で提供する要約内容に関するフィードバックの一部自動化を目指して一連の検討を行った。その主な活動として、現在手動で提示している要約内容の自己評価チェックリスト項目に関する人間の採点者間の評価の一貫性を確認すると共に、各項目の自動化に適用可能なアルゴリズムを検討した。また、自動フィードバック作成で不可欠となる、要約タスクの元文書と学習者要約解答を意味単位にセグメント化する方法複数を比較検証した。この過程で得られた、idea unitという意味単位にセグメント化された学習者40名分の要約解答と元文書を、言語コーパスとして言語資源協会 (GSK) から公開した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度の主な推進方針としていた4点のうち、教材で提示する要約内容に関するフィードバックの一部自動化と、教材モジュールの機能拡充（ピア評価メニューの追加とスコアレポート内容の充実）の2点は順調に進んでいる。その一方で、残り2点（量的分析と採点結果の一貫性の検討）については、当初の予定より遅れている。要約パフォーマンスに関する強みと弱みを特定するための量的分析（記述統計分析やクラスター分析、回帰分析など）については、主に2つの理由から当初の計画を変更し、2023年度の実施としたい。その一つ目は、分析に十分な標本サイズを確保するために2023年度に取得するデータを含めるのが望ましいことである。複数年度をかけて収集し、複数の採点者が採点に関わったデータを統合することになるため、適宜統計的な等化を行うなど、慎重に進める必要がある。理由の2つ目は、2022年度に着手した採点基準変更が、当初の予想以上に理論と実証の両面からより慎重な検討を要すると判断したことである。新たに採点基準を設定した「パラフレーズ」は先行研究が十分ではないテーマであり、理論を裏付ける実証研究例も少なく、研究を推進するうえでの指針も得にくい。2022年度の分析により新尺度の原案は完成したが、2023年度に新たに取得するデータでその定義の妥当性や採点結果の一貫性を改めて確認したうえで進めることが、より意義深い量的分析につながると考える。
|
| Strategy for Future Research Activity |
科研の最終年度となる今年度は、オンライン学習教材と分析ツールプロトタイプを仕上げ、言語テスト妥当性検証の理論的枠組みを基に本教材の形成的評価のツールとしての有用性や妥当性に関する実証研究結果を総括する。並行して以下の点の研究を実施し、実証データを補完する。
【1】要約ライティング力における日本の大学英語学習者の強みと弱みの分析：日本の大学でアカデミック・ライティングを履修する学部生（約200名）を対象としたデータ収集を継続し、学習者の要約力について複数観点から検証する。特に（1）要約解答の分析的採点結果、（2）要約内容特徴量、（3）パラフレーズの度合、(4)学生自身の自己評価などを変数とし、強みと弱みを特定するための量的分析（記述統計分析やクラスター分析、回帰分析など）を実施する。また、学習者の要約作成プロセスの質的検証も並行して行い、質的・量的両面から本教材の妥当性を検証する。
【2】教材で提供するフィードバックとその有用性の検討：上記【1】の分析結果を基に、本教材で提供するフィードバックのうち、特に要約内容の適切性評価において肝要な要約解答と原文内容との対応関係やマクロ・ルール使用、パラフレーズの適切性などについては、従来の手動の自己評価用チェックリストと並行して、フィードバックの一部自動化の検討をさらに進める。また、本教材で提供するフィードバックにどの程度学習者が注意を払い、それを活用するかについて、学習者と教員のフィードバックの有用性に関する意識や学習者の解答修正行動の両面から検証する。
【3】オンライン教材のパイロット・テスト：2022年度の改修で教材に追加したピア評価やスコアレポート機能について、パイロット・テストを行う。
|
