2015 Fiscal Year Research-status Report
タスクに基づくライティングテストにおける自動評価採点システムの開発
| Project/Area Number |
25370723
|
|---|
| Research Institution | Meiji Gakuin University |
|---|
Principal Investigator |
杉田 由仁 明治学院大学, 文学部, 准教授 (70363885)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 教育評価・測定 / ライティング / 自動採点 |
|---|
| Outline of Annual Research Achievements |
本研究は、客観性および有用性の高いライティングテストの評価採点システムを構築することを目的として行った。評定者要因による影響を除外したより客観的で実用的なライティング・パフォーマンス評価の実現を目ざし、これまで５年間をかけて開発を行ってきた「タスクに基づくライティングテスト(TBWT)」に特化した「コンピューターによる自動評価採点システム」の応用開発に取り組んだ。
今次研究により構築されたTBWT自動評価採点システムのウェブサイト(http://www.meijigakuin.ac.jp/~ysugita) へのアップロードを完了し、実用化に向けて最終的な検証実験を行う段階までに至った。今年度は、過去に実施されたTBWT における評定者 (中学校教員) の評価と自動評価採点システムによる評価との相関の度合いを指標として信頼性の検証を行った。Accuracy タスクでは「総語数」と「使用単語のレベル」が、Communicability タスクでは「使用単語のレベル」と「アイディア数」が信頼性の高い客観的指標であることが確認された。妥当性の検証に関しては、「オンライン自動採点システム(Criterion)」による６段階の全体的評価法のスコアとTBWT自動評価採点システムの評価結果との相関から併存妥当性について検討を行った。その結果、それぞれのタスクの評価を予測する回帰式による予測得点とCriterion スコアには中程度以上の相関があり、有用性があると判定された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
３年間の年次計画に沿って研究を推進し、構想していた自動評価採点システムを実際に構築し、小規模ながら検証実験を行うまでに至ることができたため。
|
| Strategy for Future Research Activity |
予測精度をより向上させる客観的統計指標(特徴量)についての検討として、1) Accuracy タスクの「言語的正確さ」の評価において、語彙や文法、スペル句読法などにおける誤りを特定し、統計指標化する方法を考案すること、2) Communicability タスクの「情報伝達効果」の評価において、課題との関連性を判定し統計指標化する方法を考案すること。および自動評価採点システムによる総合評価の信頼性・妥当性や予測式の有用性に関する実証実験の実施。
|
| Causes of Carryover |
３年間の研究成果発表の機会となる第50回国際英語教育学会 (イギリス)が2016年4月12～15日開催となるため。
|
| Expenditure Plan for Carryover Budget |
航空賃および学会参加費として使用予定。
|
