• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実施状況報告書

タスクに基づくライティングテストにおける自動評価採点システムの実用化開発

研究課題

研究課題/領域番号 16K02981
研究機関明治学院大学

研究代表者

杉田 由仁  明治学院大学, 文学部, 准教授 (70363885)

研究分担者 石井 雄隆  早稲田大学, 大学総合研究センター, 助手 (90756545) [辞退]
研究期間 (年度) 2016-04-01 – 2019-03-31
キーワードライティング・テスト / 自動採点 / 信頼性 / 妥当性
研究実績の概要

平成29年度研究の成果と最終年度の課題は、下記 (1)~(4) の通りである。
(1) Accuracy タスクの「言語的正確さ」の特徴量として、入力された英文サンプルの総単語数に対するスペルに誤りがある単語数の割合 (入力単語誤り率) を追加設定した。これを含む4指標によるAccuracy 評価の説明率は、これまでのシステムにおける69%を上回る72%となり、測定精度の向上が認められた。
(2) Communicability タスクの「情報伝達量」については、課題との関連性を定型表現 (to+動詞) によって照合するためのリストを改訂したところ、評価の説明率は改修前と同じ61%であることが確認された。
(3) 150名の高校2年生が受験したTBWT 300サンプル (Accuracy, Communicabilityタスク各150) により、予測得点の信頼性・妥当性の検証を試みた。両タスク共に予測式によって算出された予測得点と4指標との間に有意な相関があり、予測得点の信頼性が確認された。
(4)回帰式による評価得点とCriterion スコアとの相関係数により、基準関連妥当性の検証を行った結果、各タスクの評価得点と比較的強い相関が見られた。また、両者の合計点をライティング能力の「総合評価」と位置づけて相関分析を行ったところ強い相関が見られ、評価得点はCriterion のパフォーマンスを一定程度反映しており、基準関連妥当性が確認された。さらに、評価結果に対するアンケート調査により結果妥当性の検証を試みたところ、AccuracyおよびCommunicabilityの評価結果が、利害関係者である高校生に与えた影響は適切であったことが確認された。しかし、今後の課題として、結果の解釈がしやすくなるような観点名やそのフィードバック方法について再検討の必要性が認められた。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

平成28年度の研究結果から課題として確認された 1)予測精度をより向上させる統計指標の検討と自動採点システムの改修、および 2)サンプル数を増大させて評価指標と予測式の信頼性・妥当性の検証を行うこと、が計画通りに実施することができたため。

今後の研究の推進方策

評価結果に対するアンケート調査により結果妥当性の検証を試みたところ、Communicabilityタスクの評価結果に対しては「頻度語数」の意味合いや、それにより内容に関わる評価が行われていることなどが高校生には伝わりにくいことが明らかになった。他の評価観点も含めて、結果の解釈がしやすくなるような観点名やそのフィードバック方法について再検討を行い、自動採点システムを完成することが最終年度の課題となる。

次年度使用額が生じた理由

平成30年2~3月にかけて実施した高校2年生150名を対象とした実証実験の経費に関してはが、29年度の残額では不足していたため、研究者が一時的に立て替え払いをしている状況である。30年度の経費が支給された段階で請求する予定である。

研究成果

(3件)

すべて 2017 その他

すべて 雑誌論文 学会発表 備考

  • [雑誌論文] タスクに基づくライティングテスト自動採点システムにおける客観的評価指標の検討(2)2017

    • 著者名/発表者名
      杉田由仁 石井雄隆
    • 雑誌名

      第43回全国英語教育学会島根研究大会発表予稿集

      巻: 1 ページ: 178-179

    • 査読あり
  • [学会発表] タスクに基づくライティングテスト自動採点システムにおける客観的評価指標の検討(2)2017

    • 著者名/発表者名
      杉田由仁 石井雄隆
    • 学会等名
      第43回全国英語教育学会島根研究大会
  • [備考] タスクに基づくライティング・テスト自動採点サイト

    • URL

      http://www.meijigakuin.ac.jp/~ysugita/

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi