2018 Fiscal Year Annual Research Report
Validation of Integrated Language Tests Toward the Measurement of Task-Induced Performance Skills
| Project/Area Number |
16K13256
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
卯城 祐司 筑波大学, 人文社会系, 教授 (60271722)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 英語教育 / リーディング / パフォーマンス評価 / タスク中心教授法 / 項目応答理論 / 構造方程式モデリング / 一般化可能性理論 / 論証に基づく妥当化 |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的は「目的に応じて英文を読み，理解した内容を相手に伝える」タスクを用いた技能統合型の英文読解テストが，日本人英語学習者の英文読解力を適切に測定できるかを検証することであった。タスクによって引き出されたパフォーマンスを数値化し，それを読解力として評価するためには，テストの内容，採点方法，およびテスト得点の妥当性を保証する必要がある。最終年度となる平成30年度は，パフォーマンス評価のために開発したルーブリックがテスト作成者の意図通りに機能するかを統計的に解析した。CAN-DOリスト形式での５段階評価ルーブリックを用いて，３名の評価者が各学習者のパフォーマンスを採点した結果を多相ラッシュ分析で解析し，タスクおよびルーブリックがテスト開発者の意図通りに設計されていたかを「論証に基づく妥当化（argument-based approach to validation）」の枠組みで検証した。
採点プロセスの妥当性については平成29年度の研究により明らかにされていた。そこで平成30年度は，採点結果がどの程度一般化可能かを統計的に解析し，採点者が3名の場合は4タスクを使用すれば信頼性のある採点ができることを明らかにした。同様に開発した6タスクすべてを用いる場合，採点者は2名で十分であることを示した。採点結果が学習者の読解力をどの程度適切に捉えることができていたのかを構造方程式モデリングにより解析したところ，タスク型読解テストは語彙知識・文法知識・理解力を十分に反映していることが分かった。多特性・多方法行列による検証も同時に行い，本研究課題で開発したテストは聴解力等の別の構成概念ではなく，読解力をターゲットにしていることを示した。テストの使用目的がタスク中心教授法による読解指導の効果を測定することにあることも考慮し，教員や生徒にとって使いやすいテストおよびルーブリックとなるような改訂を継続的に進めている。
|
