2018 Fiscal Year Research-status Report
タスクに基づくライティングテストにおける自動評価採点システムの実用化開発
| Project/Area Number |
16K02981
|
|---|
| Research Institution | Meiji Gakuin University |
|---|
Principal Investigator |
杉田 由仁 明治学院大学, 文学部, 教授 (70363885)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石井 雄隆 早稲田大学, 大学総合研究センター, 助手 (90756545) [Withdrawn]
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | ライティングテスト / 自動採点 / 信頼性 / 妥当性 |
|---|
| Outline of Annual Research Achievements |
日本人英語学習者のライティング能力の推定により有効な自動評価採点システムを開発するために，Accuracy タスクの「言語的正確さ」の評価において，語彙や文法，スペル句読法などにおける誤りを特定し，統計指標化する方法を考案すること，Communicability タスクの「情報伝達効果」の評価において，課題との関連性を判定し統計指標化する方法を考案すること，重回帰分析によって総合的評価を予測する回帰式を作成してその有用性検討として，サンプル数を増やして信頼性・妥当性の検証を行うことを研究目的として取り組んだ。その成果と今後の課題は，下記1)～4)の通りである。
1) Accuracy タスクの「言語的正確さ」の特徴量として，単語誤り率を追加設定した。その結果，これを含む４指標によるAccuracy 評価の説明率は，これまでのシステムにおける69% を上回る72%となり，測定精度の向上が認められた。
2) Communicability タスクの「情報伝達量」の評価指標については，課題との関連性を定型表現 (to+動詞) によって照合するためのリストを改訂し，これまでの定型表現頻度語数を特徴量として継続使用した。Communicability 評価の説明率は改修前と同じ61%であることが確認された。
3) 150名の高校２年生が受験した300サンプルにより，予測得点の信頼性・妥当性の検証を試みた。Accuracy, Communicability共に評価指標と予測得点の信頼性およびシステムの安定性が確認された。
4) Accuracy, Communicabilityの回帰式による予測得点とCriterion スコアとの相関係数により，基準関連妥当性が確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
Accuracy 評価の新指標として導入した単語誤り率に関しては，二次分析により，追検証を行う必要性があることが示唆された。統計的指標として，測定精度の再検証および向上を図るための継続研究に取り組む必要がある。また,Communicabilityタスクの評価結果に対しては「頻度語数」の意味合いや，それにより内容に関わる評価が行われていることなどが高校生には伝わりにくいため，他の評価観点も含めて，結果の解釈がしやすくなるような観点名やそのフィードバック方法について再検討の必要性が認められたため。
|
| Strategy for Future Research Activity |
Accuracy 評価の新指標として導入した単語誤り率に関しては，統計的指標としての測定精度再検証および向上を図るための継続研究に取り組む。また,Communicabilityタスクに関しては、評価結果等が高校生に伝わりにくい点があるため，結果の解釈がしやすくなるような評価観点名やそのフィードバック方法について再検討を行う。
|
| Causes of Carryover |
研究期間を延長して、自動採点システムの改修および最終的な調整を行うために必要な経費として確保したため。
|
Research Products
(3 results)
