2023 Fiscal Year Research-status Report
大規模学力調査における調査問題の出題順が与える影響について
| Project/Area Number |
23K02753
|
|---|
| Research Institution | National Institute for Educational Policy Research |
|---|
Principal Investigator |
袰岩 晶 国立教育政策研究所, 教育データサイエンスセンター, 総括研究官 (00626210)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Keywords | 大規模教育調査 / 教育調査法 / 学力調査 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、学力調査において調査問題の出題順（問題冊子上のに配置される順番）が調査結果に与える影響を検証することであり、2023年度は、出題順が調査問題の正答率に与える影響と項目パラメータ（項目反応理論を用いて推定される問題の困難度と識別力）に与える影響を調べた。前者の正答率への影響については、当初予定していたPISA2012年調査（紙を用いた筆記型調査）のデータとともに、当初予定していなかったPISA2015年調査（コンピュータ使用型調査）のデータも使い、以下の点を明らかにした。
1）日本の高校1年生について、全181問の正答率の変化は、約30分経過後で平均-3ポイント、約1時間30分経過後で平均-7ポイントであった。
2）PISAの参加国・地域の中でも、日本は比較的、出題順の負の影響が大きかった。
3）筆記型調査とコンピュータ使用型調査を比較すると、コンピュータ使用型調査では出題順が遅いときに正答率が上がる問題が筆記型調査よりも多く、出題順の負の影響が平均的に小さくなっていたが、影響のばらつきが問題間で大きくなっていた。
後者の項目パラメータへの影響については、PISA2012年調査の数学的リテラシーの問題に対し、問題冊子ごとに項目パラメータを推定するだけでなく、問題順が異なる場合に別の問題として扱った加工データを作成して推定する分析も行い、出題順によって項目パラメータがどのように変化するのかを明らかにした。この分析は日本の受検者のみで行ったが、他の参加国・地域でも同様の検証を続ける予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初は調査問題の冊子組みが「釣合い型不完備ブロックデザイン」になっているPISA2012年調査のデータのみを使う予定であったが、筆記型調査とコンピュータ使用型調査の違いを調べるためにPISA2015年調査のデータも使用し、分析作業の量が大きくなった。そのため若干スケジュールが遅れ、出題順の正答率への影響に関する検証は2023年末近くまでかかってしまった。しかし、出題順の項目パラメータへの影響に関する検証については、日本の数学的リテラシーの調査問題という限定的な範囲ではあるが、当初の予定通りの検証を年度末までに行うことができた。よって、研究はおおむね順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
2024年度の前半は、前年度から続いている出題順の項目パラメータへの影響に関する検証を日本以外のPISA調査参加国・地域に広げて分析を進める。後半は、当初予定していた調査問題の出題順が受検者の能力推定、母集団特性（平均や標準偏差）の推定に与える影響を検証する。
|
| Causes of Carryover |
当初、ワークステーション（Lenovo製 ThinkStation P620）を購入する予定であったが、所属研究所の情報システムの移行が計画され、新システムで使用できる情報機器の仕様が確定するまで、購入を延期することとした。その代わりとして、現在使用しているPCのメモリを増設し、当初の予定通り、研究を遂行することができた。ワークステーションの購入は、2024年度の後半になる予定である。
|
