2017 Fiscal Year Research-status Report
技能統合型言語テストの妥当化：タスク遂行に必要な構成概念の測定に向けて
| Project/Area Number |
16K13256
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
卯城 祐司 筑波大学, 人文社会系, 教授 (60271722)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 英語教育 / リーディング / テスト / タスク中心教授法 / 妥当性 / 信頼性 / 項目応答理論 / 構造方程式モデリング |
|---|
| Outline of Annual Research Achievements |
本研究課題は「英文を読み，理解した内容を相手に伝える」タスクを用いた技能統合型の英文読解テストが，日本人英語学習者の英文読解力を適切に測定できるかについての妥当化研究である。実生活に即した状況の中で，特定のタスクを完成させる手段として使用された言語パフォーマンスは，学習者の言語運用能力を測定する重要なデータとなる。しかし，タスクによって引き出されたパフォーマンスを数値化し，それを「読解力」として解釈するためには，採点方法およびテスト得点の妥当性を保証する必要がある。平成29年度は，「英文を読み，相手が必要としている情報を伝える」タスクのパフォーマンスを採点するためのルーブリックを作成し，その評価が受験者の読解力を適切に反映できているかを統計的に解析した。具体的には，CAN-DOリスト形式での５段階評価ルーブリックを用いて３名の評価者が各学習者のパフォーマンスを採点した結果を多相ラッシュ分析で解析し，Bond and Fox (2015) などの基準に当てはめてルーブリックがテスト開発者の意図通りに設計されていたかを検討した。
まず，尺度１から尺度５までの敷居値（難易度）は単調に増加する必要があり，Rasch-Andrich敷居値は約2.0ロジットずつ増加するという結果であった。これは，尺度間の距離が1.4から5.0ロジット以内にならなければならないという基準も満たしている。観測得点のラッシュモデルへの適合度は高く，作成したルーブリックが理想的な採点モデルから大きく外れるというケースは見られなかった。また今回のルーブリックを使用すると受験者の能力を約３段階に識別できることが分かった。これらの結果について，当該テストの目的が教室でのタスク中心教授法による読解指導の効果を測定することにあることを考慮すると，作成したルーブリックはパフォーマンス評価に十分耐えうると判断している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画の２年目は，開発した技能統合型読解テストにおいて，評価の際に参照するルーブリックがテスト開発者の意図通りに設計できているかを検証することが目的であった。これに対し，研究計画通り統計解析を実施し，得られた結果の解釈がほぼ完了している。また，研究成果を口頭発表したり査読付き論文に投稿したりする準備を進めている。
|
| Strategy for Future Research Activity |
今後は最終年度の研究計画として，これまでに得られた成果を公開するための準備に取り掛かる。具体的には，研究開始年度以降，新たに発表された文献の調査を行うことで本研究の位置づけを見直す。また言語評価に関わる様々な学会等で本研究の結果を発表し，論文投稿という形で成果をまとめることで，外部機関による客観的な評価を得る。
|
| Causes of Carryover |
（理由）本研究課題に関わる研究討議を行うため、The American Association for Applied Linguistics (AAAL) に出席したが、学内業務の関係で、滞在期間を短縮したため。
（使用計画）
平成29年度に得られた成果について、国内外の学会で発表、論文投稿を計画しており、その費用として次年度使用額を使用する予定である。
|
Research Products
(7 results)
-
-
[Journal Article] Understanding protagonist, causal, and intentional links during EFL narrative reading2018
Author(s)
Ushiro Yuji, Hosoda Masaya, Nahatame, Shingo, Mori Yoshinobu, Suzuki Kentaro, Tada Go, Ogiso Tomoko, Kamimura Kozo, Sasaki Yamato, & Mandokoro Rika
-
Journal Title
ARELE: Annual Review of English Language Education in Japan
Volume: 29
Pages: 81-96
DOI
Peer Reviewed / Open Access
-
-
-
-
-
