| 研究課題/領域番号 |
22K13174
|
|---|
| 研究機関 | 東北大学 |
|---|
研究代表者 |
加藤 万紀子 東北大学, 文学研究科, 助教 (70943447)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2026-03-31
|
| キーワード | 英語要約文 / 分析的評価尺度 / 日本人英語学習者 / 要約評価者 |
|---|
| 研究実績の概要 |
英語要約ライティングは習得が困難であるためフィードバックを提供できる分析的評価尺度の使用が教育的に適している。しかし、項目評価の信頼性や妥当性、教育現場における実用性等の問題が残されている。本研究は、中上級英語学習者を対象にした先行研究が多かったことにも着目し、英語能力が多様な日本人英語学習者に対応できる英語要約文の分析的評価尺度の開発を目的としている。本科研実施１年目である2022年度は以下２つを実施した。
1. 予備研究
初中級英語学習者が作成した英語要約文をMain Idea Coverage（適切なメイン・アイディアの選別の有無）、Integration（論理的な情報凝集の有無）、Language Use（文法・語彙の誤用の有無）、Source Use（パラフレーズの有無・内容の正確性）の４項目から成る既存の尺度を用いて３名の評価者が評価を行ったスコアを、多変量一般化可能性理論を用いて、主に評価尺度の妥当性と実用性の検証を行った。その結果、MICとINTはほぼ同じ概念を測定する項目であること、そして実用性および信頼性に関してはLUとSUの評価の信頼性が低く、十分な評価者間の信頼性を確保するためには最低でも４人以上の評価者が必要であるなど残された課題が報告された。
２. 評価者訓練および評価者からの評価に関する定量的・定性的データ分析
本研究に備え、CEFR A1からC1レベルの日本人英語学習者から２種類の英文テキストの要約文データを収集した。そして、予備研究から得られた分析結果をもとに、母語や英語教授経験年数などが異なる7名の評価者を採用し、評価者訓練を実施した。評価の際には、上記のINT、LU、SUの3つの評価項目を使用し、評価者からは定量的データのほか、インタビューと質問紙を用いて評価が困難な点や分析的評価尺度構築に向けた意見を定性的データとして収集し分析を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
1. 申請時に予定していた通り、様々な英語能力(CEFR A1からC1)を持つ日本人英語学習者から2種類の英文テキストの要約文データを収集したことで、次年度以降に予定している本研究で使用する生データの準備が完了した。
2. 次年度以降に予定している本研究の際には、要約評価者から定性的データと定量的データを収集するために既存の分析的評価尺度を改良したものを使用する。予備研究として、その尺度改良に向けて既存の尺度の問題点を以下のように特定することができた。１つ目は、多変量一般化可能性理論を援用し評価尺度の妥当性と実用性の検証を行ったことで、ほぼ同じ概念を測定する項目の特定ができた。２つ目は、評価者間の信頼性の低い項目の特定ができた。
3. 次年度以降に予定している本研究を行う際に使用する分析的評価尺度の改良に向け、母語や英語教授経験年数など多様な背景を有する7名の評価者から評価尺度の使用が困難な点や、尺度改良にむけた率直な意見を定性的データとして収集することができた。
|
| 今後の研究の推進方策 |
2023年度は、要約評価の信頼性に影響する要因を解明するために、以下のような研究計画を立てている。
1.「評価者の属性と評価者間および評価者内の信頼性には関係があるのか（研究課題１）」「評価者の属性と評価の厳しさには関係があるのか（研究課題２）」を検証するために、2022年度に要約評価者から得た定量的データを用い、評価者間および評価者内の信頼性、評価の厳しさについて測定を行い、評価者の属性との関係について考察を行う。
2. 2022年度に要約評価を行った複数の評価者より2つの評価項目（Language UseとSource Use）において改良が必要であるとの意見が出た。さらに、テキストが長くなればなるほどメイン・アイディアの選別・決定に評価者間で差異が生じることも報告されたため、メイン・アイディアに関する評価項目の記述子の改良が必要であるとの意見も多く集まった。これらの考察と、1で遂行する要約評価者の信頼性に影響する要因に関する研究から得られる結果をもとに、分析的評価尺度の評価項目と記述子の決定を行う。
3. 改良した暫定の評価尺度を使用し、さらに多くの評価者を募り要約評価を行ってもらい、評価の信頼性に影響する要因についての主観的な意見と評価の際にどこで、どの程度の認知負荷がかかっているのかを眼球運動測定器を用いて評価者の視線の動きを調べる。
|
| 次年度使用額が生じた理由 |
2022年度は予定していた学会の参加が２つともオンライン参加になったことで旅費の支出がなくなったが、
2023年度は、対面開催の学会参加も予定しているため、その旅費にあてる予定である。
|
