| 研究課題/領域番号 |
16K02981
|
|---|
| 研究機関 | 明治学院大学 |
|---|
研究代表者 |
杉田 由仁 明治学院大学, 文学部, 准教授 (70363885)
|
|---|
| 研究分担者 |
石井 雄隆 早稲田大学, 大学総合研究センター, 助手 (90756545)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2019-03-31
|
| キーワード | 教育評価・測定 / ライティング / 自動 |
|---|
| 研究実績の概要 |
第三次研究において、TBWTの評価基準 (評価の観点) に適合する言語的特徴として抽出された客観的評価指標 (特徴量) により、総合評価を61～69%予測できる回帰式を作成することができた。しかし、Accuracyの“linguistic accuracy”とCommunicabilityの“communicative effect”に関しては、説明変数 (統計的指標) として再検討の必要性が示唆された。そこで今年度の研究では、前者に関して語彙や文法、スペル句読法などにおける誤りを特定し統計指標化する方法について、後者に関しては課題との関連性を判定し統計指標化する方法についてそれぞれ検討した。並行して、TBWT自動評価採点システムの信頼性・実用性に関する検証を行った。検証方法としては、大学生学習者に研究協力を依頼して、TBWT自動評価採点システムによる評価とTOEIC Writingの結果との相関の度合いを信頼性の指標とした。TOEIC Writing は、採点の訓練を受けたEducational Testing Service (ETS) 認定の複数の採点者が評定を行い、採点結果は厳密に分析・管理されているのでスコアの信頼性は非常に高いと言える。この採点結果との相関の度合いは、1) Accuracy との相関の方がCommuicability とのそれよりも高い、2) Communicability に関しては、新たな客観的評価指標の設定が望まれることが明らかになった。また、実用性に関しては、研究協力者を対象とした質問紙調査を実施して、Web受験および結果のフィードバック等について回答を依頼したところ、協力者全員がシステムによる評価およびフィードバックについて「十分に理解できる」「理解できる」と回答した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
Accuracyの“linguistic accuracy”とCommunicabilityの“communicative effect”に関しては、説明変数 (統計的指標) としての再検討までは進んでいるが、再設定および再検証の段階までには至っていないため。
|
| 今後の研究の推進方策 |
自動評価採点システムの完成に向けて、客観的評価指標の再設定を行い、再度の信頼性・妥当性検証を行う。また、当初の計画通り、将来的な、高等学校における公開テスト実施を想定し、高校生を対象としたTBWT自動評価採点システム実証実験の準備に取り組む。6月15日の栃木県高等学校教育研究会英語部会春季研究大会における講演において、Web上に開設されたTBWT受験用サイトを紹介し、一定規模の受験者 (約100名) を確保するために、テストへの参加協力を依頼する。
|
| 次年度使用額が生じた理由 |
客観的評価指標の再設定に伴う、システム改修の作業段階に至っていないため。
|
| 次年度使用額の使用計画 |
指標の再設定を早急に行い、システム改修の業者委託を行う。
|
