2016 Fiscal Year Research-status Report
技能統合型言語テストの妥当化：タスク遂行に必要な構成概念の測定に向けて
| Project/Area Number |
16K13256
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
卯城 祐司 筑波大学, 人文社会系, 教授 (60271722)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 英語教育 / リーディング / テスト / タスク中心教授法 / 妥当性 / 信頼性 / 項目応答理論 / 構造方程式モデリング |
|---|
| Outline of Annual Research Achievements |
本研究では「英文を読み，理解した内容を相手に伝える」タスクを用いた技能統合型の英文読解テストが，適切に測定できるかの妥当化研究に取り組んでいる。実生活に即した状況の中で，特定のタスクを完成させる手段として使用された英語は，学習者の言語運用能力を測定する重要なデータとなる。しかし，タスクによって引き出されたパフォーマンスを数値化し，それを「読解力」として解釈するためには，採点方法とテスト得点の妥当性を確保する必要がある。
テストの妥当化には，テスト結果解釈の適切さを様々な側面から保証する証拠を収集する必要がある。そこでChapelle, Enright, and Jamieson (2008) によるargument-based approachを採用し，研究計画1年目にあたる平成28年度は，「採点方法が意図した構成概念を測定するのに適切であるか」および「テスト結果の一般化は可能か」という２つの観点の検証に取り組んだ。特に，採点者による評価が，受験者間，評価基準の違い，タスクの違いによってどの程度内的に一貫しているかをMulti-Faceted Rasch Modelingにより検証した。採点データは，日本人大学生122名が受験した6種類のタスク型英文読解テストに対し，2種類の評価尺度 (タスク依存尺度・タスク独立尺度) を用いた3名の採点者による評価を使用した。分析の結果，採点者間で評価の厳しさが6段階に分かれたため，Rasch modelingによる得点の調整を行った。ただし，複数の採点者が個々の受験者を評価することで，統計モデルが予測する受験者の得点と実際の得点の不一致を366件中1件に抑えることができた。これらの結果から，本研究で開発したタスク型読解テストに対し，Rasch modelingによる適切な統計処理が行われれば，採点結果を一般化できる可能性が示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画の１年目は，開発した技能統合型読解テストにおいて（１）採点方法が意図した構成概念を測定するのに適切であるか，および（２）テスト結果の一般化は可能かを検証することが目的であった。これに対し，研究計画通りテストを実施し，データ解析が終了している。また，研究成果を口頭発表や査読付き論文に投稿する準備を進めている。
|
| Strategy for Future Research Activity |
今後は２年目の研究計画および発展的課題に着手する。具体的にはテスト結果のデータ解析を進め，テスト得点は測定対象を反映した他のテスト得点とどれぐらい関連するかを検証する。手法としてRasch modelingを利用することで，技能統合型読解テストの難易度パラメータと識別力パラメータによる受験者の能力推定を行う。得られた成果については学会発表や論文投稿という形で発表し，外部機関による客観的な評価を確認しながら研究を進めていく。
|
| Causes of Carryover |
国際学会での発表を予定していたが、代表を務める基盤研究(B)（課題番号25284099)の成果発表と次期が重なってしまい、こちらを優先することにしたため、旅費を次年度使用額とした。
|
| Expenditure Plan for Carryover Budget |
本年度の成果について、国内外の学会での発表、論文投稿を計画しており、その費用として次年度使用額を使用する予定である。
|
