日本のテスト文化に適したIRTテストデザインの提案：大問形式を含む出題に着目して

2019 Fiscal Year Annual Research Report

• Project/Area Number: 19K14308
• Research Institution: Tohoku University
• Principal Investigator: 泉 毅 東北大学, 高度教養教育・学生支援機構, 助教 (30828447)
• Project Period (FY): 2019-04-01 – 2020-03-31
• Keywords: 項目反応理論 / 局所独立 / テストレット / 大問形式 / テストデザイン / IRT / シミュレーション

Outline of Annual Research Achievements

一問一答形式と大問形式が混在するテストデザインにおいて，実データを用いたIRTによる分析可能な事例研究は存在するが，このテストデザインにおける能力パラメタ，項目パラメタの精度に関する知見は得られていない。また，この精度は，一問一答形式，大問形式が含まれる割合によって左右されることが考えられる。
上記のようなテストデザインの際，一問一答形式が何問，大問形式が何問でテストを設計した場合に，高い精度を確保した上で，IRTでの分析が可能なのだろうか。この問いに応えるために，シミュレーションデータ，実データ，両面からのIRTによる分析を行い，その分析結果の精度に関して知見を得る。
一問一答形式と大問形式が混在するテストにおいて，IRTによる分析の際に高い精度が確保できるテストデザインを明らかにするため，どのような割合で一問一答形式と大問形式が構成される場合に能力パラメタ，項目パラメタが高い精度で測定できるのか，ということをシミュレーションにより検討することが本年度の計画であった。
具体的には，受験者数，問題数，テストレットの数，テストレットに含まれる問題数等の観点から，複数のパタンでデータを発生させ，その後IRTによる分析を行う。この作業を繰り返し，真値と推定値の差異の指標を算出する。すべてのパタンにおいてこの指標を算出し，結果の比較検討を行う予定であったが，今回の研究期間では，シミュレーションデータ整備，シミュレーションデータの分析段階にとどまり，精度の検証，評価には至らなかった。