2023 Fiscal Year Research-status Report
日本人英語学習者を対象にした英語要約分析的評価尺度の開発
| Project/Area Number |
22K13174
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
加藤 万紀子 東北大学, 文学研究科, 助教 (70943447)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 英語要約文 / 分析的評価尺度 / 日本人英語学習者 / 要約評価者 / 評価の困難さ / 評価の信頼性 / 記述子 |
|---|
| Outline of Annual Research Achievements |
初年度に行った既存の分析的評価尺度の妥当性と実用性の検証結果より、Main Idea Coverage（適切なメイン・アイディアの選別の有無）とIntegration（論理的な情報凝縮の有無）の２項目はほぼ同じ概念を測定する項目であることが明らかとなった。そのため、INTとLanguage Use（文法・語彙の誤用の有無）、Source Use（パラフレーズの有無・内容の正確性）の３項目からなる尺度を用いて、母語や教授経験が異なる7名の評価者が初級から中上級英語学習者が作成した２種類の英文テキストの要約評価を行った。評価者からは要約評価に関する定量的データの他、インタビューと質問紙を用いて評価の際の使用方略、評価が困難な点、評価尺度の改良に向けた意見などの定量的および定性的データを収集した。2023年度は、上記の定量的および定性的データを用いて、下記の課題を遂行した。
1)「評価者の属性と評価の信頼性には関係があるのか」「評価者の属性と評価の厳しさには関係があるのか」を検証するために、評価の信頼性、評価の厳しさについて測定・調査を行い、それらの関係性について報告した。
2) 評価者の使用方略と評価が困難に感じた点や項目について調査した結果、 母語や教授経験により使用方略に違いは見られなかったが、教授経験により項目毎の採点時の意思決定要因に差があることが分かった。また、特にSUの評価が困難であるとの報告があった。
3) 評価尺度の記述子改良に向け、複数の評価者よりLUとSUにおいて改良が必要であるとの意見が出た。さらに、テキストの長さによりメイン・アイディアの選別・決定に評価者間で差異が生じることも報告されたため、メイン・アイディアに関する評価項目の記述子の改良が必要であるとの意見も多く集まった。これらの調査報告と評価の信頼性結果をもとに改良した暫定的な評価尺度の記述子を報告した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していた通り、下記３つに関して報告を行った。
1. 評価者の属性と評価の信頼性・評価の厳しさの関係について報告を行った。
2. 評価者の母語や教授経験別に使用方略と評価が困難に感じる点や項目について行った調査の報告をした。
3. 評価項目の記述子の改良が必要である点などについて評価者から得られた意見と評価の信頼性結果をもとに、改良した暫定的な評価尺度の記述子を報告した。
|
| Strategy for Future Research Activity |
2024年度は、改良した暫定のルーブリックを使用し、さらに多くの評価者に評価を行ってもらい、評価の信頼性に影響する要因についての主観的な意見と評価の際にどこで、どの程度の認知負荷がかかっているのかを眼球運動測定器を用いて評価者の視線の動きを調べる。それを元に、必要であればルーブリックのさらなる改良を行い、ルーブリックを完成させ、同じ評価者から要約評価データを収集する。
2025年度は、最終的に構築したルーブリックを使用して得られた要約評価データを元に、以下のようにルーブリックの実用性と妥当性検証を行う。1）多変量一般化可能性理論を使用し、尺度間の母得点相関を測定することで評価項目が独立した概念を持つものであるのかを検証する。2）目標基準準拠テストに使用できる程度の信頼性があるかどうかを検証する。3）多変量一般化可能性理論の決定研究 (D study) の結果から、評価の一貫性が十分に満たされる評価者人数を特定し、評価の実用性の検証を行う。その際に、2024年度に収集する評価者からの定量的・定性的 データおよび眼球運動測定から得られる科学的データを元に評価の実用性に関して追加検討を行う。4）妥当性に関しては、多相ラッシュ・モデルを用い、各項目の機能と評価者個々人のパフォーマンスを詳細に分析する。
|
| Causes of Carryover |
2022年度に予定していた２つの学会の参加がオンラインであったため、その際の旅費の支出の影響が2023年度にも及んだ。しかし、2024年度は対面開催の学会参加も予定しており、視線計測実験も行うため謝礼金として支出する予定である。
|
Research Products
(2 results)
