2016 Fiscal Year Research-status Report
タスクに基づくライティングテストにおける自動評価採点システムの実用化開発
| Project/Area Number |
16K02981
|
|---|
| Research Institution | Meiji Gakuin University |
|---|
Principal Investigator |
杉田 由仁 明治学院大学, 文学部, 准教授 (70363885)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石井 雄隆 早稲田大学, 大学総合研究センター, 助手 (90756545)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 教育評価・測定 / ライティング / 自動 |
|---|
| Outline of Annual Research Achievements |
第三次研究において、TBWTの評価基準 (評価の観点) に適合する言語的特徴として抽出された客観的評価指標 (特徴量) により、総合評価を61～69%予測できる回帰式を作成することができた。しかし、Accuracyの“linguistic accuracy”とCommunicabilityの“communicative effect”に関しては、説明変数 (統計的指標) として再検討の必要性が示唆された。そこで今年度の研究では、前者に関して語彙や文法、スペル句読法などにおける誤りを特定し統計指標化する方法について、後者に関しては課題との関連性を判定し統計指標化する方法についてそれぞれ検討した。並行して、TBWT自動評価採点システムの信頼性・実用性に関する検証を行った。検証方法としては、大学生学習者に研究協力を依頼して、TBWT自動評価採点システムによる評価とTOEIC Writingの結果との相関の度合いを信頼性の指標とした。TOEIC Writing は、採点の訓練を受けたEducational Testing Service (ETS) 認定の複数の採点者が評定を行い、採点結果は厳密に分析・管理されているのでスコアの信頼性は非常に高いと言える。この採点結果との相関の度合いは、1) Accuracy との相関の方がCommuicability とのそれよりも高い、2) Communicability に関しては、新たな客観的評価指標の設定が望まれることが明らかになった。また、実用性に関しては、研究協力者を対象とした質問紙調査を実施して、Web受験および結果のフィードバック等について回答を依頼したところ、協力者全員がシステムによる評価およびフィードバックについて「十分に理解できる」「理解できる」と回答した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
Accuracyの“linguistic accuracy”とCommunicabilityの“communicative effect”に関しては、説明変数 (統計的指標) としての再検討までは進んでいるが、再設定および再検証の段階までには至っていないため。
|
| Strategy for Future Research Activity |
自動評価採点システムの完成に向けて、客観的評価指標の再設定を行い、再度の信頼性・妥当性検証を行う。また、当初の計画通り、将来的な、高等学校における公開テスト実施を想定し、高校生を対象としたTBWT自動評価採点システム実証実験の準備に取り組む。6月15日の栃木県高等学校教育研究会英語部会春季研究大会における講演において、Web上に開設されたTBWT受験用サイトを紹介し、一定規模の受験者 (約100名) を確保するために、テストへの参加協力を依頼する。
|
| Causes of Carryover |
客観的評価指標の再設定に伴う、システム改修の作業段階に至っていないため。
|
| Expenditure Plan for Carryover Budget |
指標の再設定を早急に行い、システム改修の業者委託を行う。
|
