Test analysis methodology connecting classical test theory and item response theory

• Project/Area Number: 22K18633
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 9:Education and related fields
• Research Institution: Asia University
• Principal Investigator: 堀 玄 亜細亜大学, 経営学部, 教授 (60322658)
• Co-Investigator(Kenkyū-buntansha): 荒井 清佳 独立行政法人大学入試センター, 研究開発部, 准教授 (00561036)
• Project Period (FY): 2022-06-30 – 2025-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000); Fiscal Year 2024: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000); Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
• Keywords: 項目反応理論 / 古典的テスト理論 / 項目特性曲線 / 等パーセンタイル等化法 / 設問正答率分析図

Outline of Research at the Start

古典的テスト理論と項目反応理論にはそれぞれ利点があるが、項目反応理論による分析には多数の受験者と専用ソフトが必要なため、教育現場では古典的テスト理論による分析を行うことが多い。一方、古典的テスト理論による分析は受験者集団と設問に依存するため、これらが異なるテストに対して統一の基準で成績を算出することができない。本研究では、両理論の利点を併せ持つテスト分析手法を開発する。具体的には、本研究申請者らが提案した設問正答率分析図(各群を表す点の縦座標で設問の正答率を、横座標で項目反応理論の成績の群平均を表す)で項目特性曲線を近似し、これに基づき採点や等化を行うテスト分析手法を開発する。

Outline of Annual Research Achievements

テストの分析手法には、大きく分けてCTT（Classical Test Theory; 古典的テスト理論）と、その後考案されたIRT（Item Response Theory; 項目反応理論）の二つがあり、それぞれに長所と短所がある。IRTは、受験者集団と設問に依存しない分析ができる点が長所であるが、分析には多数の受験者が必要であり、また専用ソフトが必要となるため、主に大規模テストで用いられ、学校などのクラス規模のテストではCTTが使われることが多い。IRTでは、各設問の項目特性曲線（ICC）を利用して尺度推定（採点）や等化（受験者集団・設問が異なるテスト結果の比較）を行う。CTTにおいてICCに対応する設問正答率分析図は、受験者を合計点順におおよそ人数が等しい群に分け、設問の各群における正答率を折れ線グラフで表す。本研究の研究者らは、設問正答率分析図の描き方を修正し、各群を表す点の横座標でIRTの能力尺度（学力）の各群の平均を表し、縦座標で正答率を表すことにより、ICCと同一の座標軸上でICCを近似する方法を提案した。項目特性曲線の代わりに修正した設問正答率分析図を利用して尺度推定や等化を行うことにより、集団依存性と設問依存性がなく少人数の受験者集団でも安定して分析可能なテスト分析手法を開発する。また、設問正答率分析図を利用した等化について、等パーセンタイル法を用いる等化が最も適切であることを明らかにした。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

予定していた尺度推定と等化の理論構築、尺度推定・等化のシミュレーションに関して一定の研究成果が出ており、2023 International Meeting of the Psychometric Society (IMPS) において発表予定である。

Strategy for Future Research Activity

研究計画通り、テスト情報関数の理論構築、尺度推定・等化の実データによる検証を進める。その際、本年度の研究で本研究の枠組みに適切であることが明らかになった等パーセンタイル法による等化を念頭において研究を進める。