True literacy scores in OECD-PISA(Programme for International Student Assessment)

2018 Fiscal Year Research-status Report

• Project/Area Number: 17K18690
• Research Institution: National Institute for Educational Policy Research
• Principal Investigator: 吉岡 亮衛 国立教育政策研究所, 研究企画開発部教育研究情報推進室, 総括研究官 (40200951)
• Project Period (FY): 2017-06-30 – 2020-03-31
• Keywords: OECD生徒の学習到達度調査 / PISA / 読解力 / 数学的リテラシー / 科学的リテラシー / 評価

Outline of Annual Research Achievements

2000年から3年毎に公表されるOECD生徒の学習到達度調査(PISA)のデータを用いた研究であり、研究計画にしたがって、昨年度の１と２に引き続き次の項目について研究を進めた。
３．得点の再計算ルールの検討：各分野の真の得点は、共通の要素を持つ問の正誤を基に得点を再計算することで求められる。たとえば読解力と数学的リテラシーの問題の中の共通の分類要素を持つそれぞれの問に対する回答パターンは、共に正答、読解力のみ正答、数学的リテラシーのみ正答、どちらも誤答の４通りである。共に正答の場合にはこの生徒は共通の要素を持っていると言える。他方、どちらも誤答の場合には生徒は共通の要素を持たないと判断される。着目すべきは読解力のみ正答、数学的リテラシーのみ正答の場合である。読解力のみ正答であれば読解力によりこの要素に正答し、数学的リテラシーのみ正答であれば数学的リテラシーによって正答していると仮定するならば、読解力のみ正答の生徒は真の読解力を持つ生徒、数学的リテラシーのみ正答の生徒は真の数学的リテラシーを持つ生徒と判定する。そこで真の読解力を持つ生徒のグループの得点を再計算することで真の読解力の得点が求められることになる。
４．真の得点の計算：３．で述べた得点の再計算ルールを共通する分類要素を持つすべての問に適用するならば、グループの数は２の共通する分類要素の数乗となり、膨大な数になる。そのため現実的にはすべての共通する分類要素を使った得点の計算は不可能であるため、いくつかの要素を使って再計算した真の得点を探索的に吟味した。具体的には共通する分類要素を持つ問一問ずつを取り上げて得点の再計算を行い、弁別力の強い問を探索し、その上で問の組み合わせを検討した。
５．代替のグループ判別方法の検討：４．までの方法に加えて背景質問調査の回答とそれらが３分野の得点に影響を与える要因の分析を行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

計画では平成30年度に研究を終了する予定であった。しかしLOGデータによるさらなる分析の可能性か浮上したため研究を延長することにした。

Strategy for Future Research Activity

OECD生徒の学習到達度調査(PISA)の国内データを基に、LOGデータの分析を行う。LOGデータには回答に要する時間が記録されており、その長短と回答の正誤の関係から読解力と本来の科学リテラシー及び数学的リテラシーの認知的能力の関係性について明らかにできると考えている。
例えば回答時間と問題文の長さや複雑さの関係、回答時間の短さと誤答の割合等、いくつかの仮説を立てて検証することを目指す。

Causes of Carryover

PISAのデータファイル中には生徒の回答の正誤情報のみではなく、回答時間のLOG情報が含まれている。計画ではLOG情報の分析まで行う予定ではなかったが、真の得点を明らかにするためにはそれを分析することが必要と考えた。そのため年度途中から次年度に助成金を繰り越すべく支出をセーブして研究を進めたことにより次年度使用が生じた。次年度にはLOG情報の分析を行う予定である。