2017 Fiscal Year Research-status Report
タスクに基づくライティングテストにおける自動評価採点システムの実用化開発
| Project/Area Number |
16K02981
|
|---|
| Research Institution | Meiji Gakuin University |
|---|
Principal Investigator |
杉田 由仁 明治学院大学, 文学部, 准教授 (70363885)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石井 雄隆 早稲田大学, 大学総合研究センター, 助手 (90756545) [Withdrawn]
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ライティング・テスト / 自動採点 / 信頼性 / 妥当性 |
|---|
| Outline of Annual Research Achievements |
平成29年度研究の成果と最終年度の課題は、下記 (1)～(4) の通りである。
(1) Accuracy タスクの「言語的正確さ」の特徴量として、入力された英文サンプルの総単語数に対するスペルに誤りがある単語数の割合 (入力単語誤り率) を追加設定した。これを含む４指標によるAccuracy 評価の説明率は、これまでのシステムにおける69%を上回る72%となり、測定精度の向上が認められた。
(2) Communicability タスクの「情報伝達量」については、課題との関連性を定型表現 (to+動詞) によって照合するためのリストを改訂したところ、評価の説明率は改修前と同じ61%であることが確認された。
(3) 150名の高校２年生が受験したTBWT 300サンプル (Accuracy, Communicabilityタスク各150) により、予測得点の信頼性・妥当性の検証を試みた。両タスク共に予測式によって算出された予測得点と４指標との間に有意な相関があり、予測得点の信頼性が確認された。
(4)回帰式による評価得点とCriterion スコアとの相関係数により、基準関連妥当性の検証を行った結果、各タスクの評価得点と比較的強い相関が見られた。また、両者の合計点をライティング能力の「総合評価」と位置づけて相関分析を行ったところ強い相関が見られ、評価得点はCriterion のパフォーマンスを一定程度反映しており、基準関連妥当性が確認された。さらに、評価結果に対するアンケート調査により結果妥当性の検証を試みたところ、AccuracyおよびCommunicabilityの評価結果が、利害関係者である高校生に与えた影響は適切であったことが確認された。しかし、今後の課題として、結果の解釈がしやすくなるような観点名やそのフィードバック方法について再検討の必要性が認められた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成28年度の研究結果から課題として確認された 1)予測精度をより向上させる統計指標の検討と自動採点システムの改修、および 2)サンプル数を増大させて評価指標と予測式の信頼性・妥当性の検証を行うこと、が計画通りに実施することができたため。
|
| Strategy for Future Research Activity |
評価結果に対するアンケート調査により結果妥当性の検証を試みたところ、Communicabilityタスクの評価結果に対しては「頻度語数」の意味合いや、それにより内容に関わる評価が行われていることなどが高校生には伝わりにくいことが明らかになった。他の評価観点も含めて、結果の解釈がしやすくなるような観点名やそのフィードバック方法について再検討を行い、自動採点システムを完成することが最終年度の課題となる。
|
| Causes of Carryover |
平成30年2～3月にかけて実施した高校2年生150名を対象とした実証実験の経費に関してはが、29年度の残額では不足していたため、研究者が一時的に立て替え払いをしている状況である。30年度の経費が支給された段階で請求する予定である。
|
Research Products
(3 results)
