| Project/Area Number |
22K13174
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 02100:Foreign language education-related
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
加藤 万紀子 東北大学, 文学研究科, 助教 (70943447)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2025: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2024: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
|
|---|
| Keywords | 英語要約文 / 分析的評価尺度 / 日本人英語学習者 / 要約評価者 / 評価の困難さ / 評価の信頼性 / 記述子 / 英語教育 / 外国語教育 |
|---|
| Outline of Research at the Start |
英語の読解・ライティング能力が加わる英語要約は、習得が困難であるため、学生がフィードバックを得られる分析的評価尺度が教育的に適している。しかし、様々な能力やスキルが加わる分、評価も容易なものではなく、項目評価の信頼性や妥当性、そして教育現場においての実用性といった問題が残されている。本研究では、分析的評価尺度を用いた要約評価の定量的・定性的データに加え、眼球運動測定器を用いた評価者の視線の動きの計測から評価の信頼性に影響する要因を科学的に検証した上で、分析的評価尺度の開発を行う。また、開発された評価尺度は、妥当性と信頼性の検証、および、教育現場においての実用性についても検証する。
|
| Outline of Annual Research Achievements |
初年度に行った既存の分析的評価尺度の妥当性と実用性の検証結果より、Main Idea Coverage（適切なメイン・アイディアの選別の有無）とIntegration（論理的な情報凝縮の有無）の２項目はほぼ同じ概念を測定する項目であることが明らかとなった。そのため、INTとLanguage Use（文法・語彙の誤用の有無）、Source Use（パラフレーズの有無・内容の正確性）の３項目からなる尺度を用いて、母語や教授経験が異なる7名の評価者が初級から中上級英語学習者が作成した２種類の英文テキストの要約評価を行った。評価者からは要約評価に関する定量的データの他、インタビューと質問紙を用いて評価の際の使用方略、評価が困難な点、評価尺度の改良に向けた意見などの定量的および定性的データを収集した。2023年度は、上記の定量的および定性的データを用いて、下記の課題を遂行した。
1)「評価者の属性と評価の信頼性には関係があるのか」「評価者の属性と評価の厳しさには関係があるのか」を検証するために、評価の信頼性、評価の厳しさについて測定・調査を行い、それらの関係性について報告した。
2) 評価者の使用方略と評価が困難に感じた点や項目について調査した結果、 母語や教授経験により使用方略に違いは見られなかったが、教授経験により項目毎の採点時の意思決定要因に差があることが分かった。また、特にSUの評価が困難であるとの報告があった。
3) 評価尺度の記述子改良に向け、複数の評価者よりLUとSUにおいて改良が必要であるとの意見が出た。さらに、テキストの長さによりメイン・アイディアの選別・決定に評価者間で差異が生じることも報告されたため、メイン・アイディアに関する評価項目の記述子の改良が必要であるとの意見も多く集まった。これらの調査報告と評価の信頼性結果をもとに改良した暫定的な評価尺度の記述子を報告した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していた通り、下記３つに関して報告を行った。
1. 評価者の属性と評価の信頼性・評価の厳しさの関係について報告を行った。
2. 評価者の母語や教授経験別に使用方略と評価が困難に感じる点や項目について行った調査の報告をした。
3. 評価項目の記述子の改良が必要である点などについて評価者から得られた意見と評価の信頼性結果をもとに、改良した暫定的な評価尺度の記述子を報告した。
|
| Strategy for Future Research Activity |
2024年度は、改良した暫定のルーブリックを使用し、さらに多くの評価者に評価を行ってもらい、評価の信頼性に影響する要因についての主観的な意見と評価の際にどこで、どの程度の認知負荷がかかっているのかを眼球運動測定器を用いて評価者の視線の動きを調べる。それを元に、必要であればルーブリックのさらなる改良を行い、ルーブリックを完成させ、同じ評価者から要約評価データを収集する。
2025年度は、最終的に構築したルーブリックを使用して得られた要約評価データを元に、以下のようにルーブリックの実用性と妥当性検証を行う。1）多変量一般化可能性理論を使用し、尺度間の母得点相関を測定することで評価項目が独立した概念を持つものであるのかを検証する。2）目標基準準拠テストに使用できる程度の信頼性があるかどうかを検証する。3）多変量一般化可能性理論の決定研究 (D study) の結果から、評価の一貫性が十分に満たされる評価者人数を特定し、評価の実用性の検証を行う。その際に、2024年度に収集する評価者からの定量的・定性的 データおよび眼球運動測定から得られる科学的データを元に評価の実用性に関して追加検討を行う。4）妥当性に関しては、多相ラッシュ・モデルを用い、各項目の機能と評価者個々人のパフォーマンスを詳細に分析する。
|
