• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実施状況報告書

タスクに基づくライティングテストにおける自動評価採点システムの実用化開発

研究課題

研究課題/領域番号 16K02981
研究機関明治学院大学

研究代表者

杉田 由仁  明治学院大学, 文学部, 教授 (70363885)

研究分担者 石井 雄隆  早稲田大学, 大学総合研究センター, 助手 (90756545) [辞退]
研究期間 (年度) 2016-04-01 – 2020-03-31
キーワードライティングテスト / 自動採点 / 信頼性 / 妥当性
研究実績の概要

日本人英語学習者のライティング能力の推定により有効な自動評価採点システムを開発するために,Accuracy タスクの「言語的正確さ」の評価において,語彙や文法,スペル句読法などにおける誤りを特定し,統計指標化する方法を考案すること,Communicability タスクの「情報伝達効果」の評価において,課題との関連性を判定し統計指標化する方法を考案すること,重回帰分析によって総合的評価を予測する回帰式を作成してその有用性検討として,サンプル数を増やして信頼性・妥当性の検証を行うことを研究目的として取り組んだ。その成果と今後の課題は,下記1)~4)の通りである。
1) Accuracy タスクの「言語的正確さ」の特徴量として,単語誤り率を追加設定した。その結果,これを含む4指標によるAccuracy 評価の説明率は,これまでのシステムにおける69% を上回る72%となり,測定精度の向上が認められた。
2) Communicability タスクの「情報伝達量」の評価指標については,課題との関連性を定型表現 (to+動詞) によって照合するためのリストを改訂し,これまでの定型表現頻度語数を特徴量として継続使用した。Communicability 評価の説明率は改修前と同じ61%であることが確認された。
3) 150名の高校2年生が受験した300サンプルにより,予測得点の信頼性・妥当性の検証を試みた。Accuracy, Communicability共に評価指標と予測得点の信頼性およびシステムの安定性が確認された。
4) Accuracy, Communicabilityの回帰式による予測得点とCriterion スコアとの相関係数により,基準関連妥当性が確認された。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

Accuracy 評価の新指標として導入した単語誤り率に関しては,二次分析により,追検証を行う必要性があることが示唆された。統計的指標として,測定精度の再検証および向上を図るための継続研究に取り組む必要がある。また,Communicabilityタスクの評価結果に対しては「頻度語数」の意味合いや,それにより内容に関わる評価が行われていることなどが高校生には伝わりにくいため,他の評価観点も含めて,結果の解釈がしやすくなるような観点名やそのフィードバック方法について再検討の必要性が認められたため。

今後の研究の推進方策

Accuracy 評価の新指標として導入した単語誤り率に関しては,統計的指標としての測定精度再検証および向上を図るための継続研究に取り組む。また,Communicabilityタスクに関しては、評価結果等が高校生に伝わりにくい点があるため,結果の解釈がしやすくなるような評価観点名やそのフィードバック方法について再検討を行う。

次年度使用額が生じた理由

研究期間を延長して、自動採点システムの改修および最終的な調整を行うために必要な経費として確保したため。

研究成果

(3件)

すべて 2019 2018 その他

すべて 雑誌論文 学会発表 備考

  • [雑誌論文] Reliability and Validity of an Automated Essay-Scoring System for a Task-Based Writing Test2019

    • 著者名/発表者名
      Yoshihito SUGITA
    • 雑誌名

      全国英語教育学会紀要 (ARELE)

      巻: 30 ページ: 17-32

    • 査読あり
  • [学会発表] タスクに基づくライティング・テスト自動評価採点システム信頼性・妥当性の検証2018

    • 著者名/発表者名
      杉田由仁
    • 学会等名
      第44回全国英語教育学会京都研究大会
  • [備考] 明治学院大学英語教授法(TESOL)研究室

    • URL

      www.meijigakuin.ac.jp/~ysugita/homepage/

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi