2016 Fiscal Year Research-status Report
項目バンク構築における等化済み項目特性の推定方法に関する研究
| Project/Area Number |
16K17312
|
|---|
| Research Institution | Shimane University |
|---|
Principal Investigator |
光永 悠彦 島根大学, 教学企画IR室, 講師 (70742295)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 項目反応理論 / 等化 / 多母集団IRTモデル / 重複テスト分冊法 |
|---|
| Outline of Annual Research Achievements |
共通な項目をもつ複数の問題冊子（フォーム）を用いたテストデザインについて，冊子間で共通の意味をもつようなスコア（能力母数）や項目特性値（項目母数；識別力や困難度など）を得るために，項目反応理論（IRT）を用いた等化の方法を検討した．この手続きには（1）それぞれの問題冊子だけでIRTによる項目母数の推定をまず行い，その後，等化の手続きにより共通の尺度に変換する，(2)すべての問題冊子をまとめて一度に多母集団IRTモデルを用いて分析を行い，共通の尺度を得る，(3)基準となる集団において(1)と同様に問題冊子個別の項目母数の推定を行い，その後，他の冊子の項目母数について，基準となる問題冊子と共通の項目について固定し，共通でない項目の母数を推定する，という3通りの方法がある．
IRTについては，大きく分けて周辺最大尤度法（ML）とベイズ推定の2通りを実施することができ，それに続く等化の手法はMean-Sigma法，Mean-Mean法，Stocking-Lord法，Haebara法，Mayekawaの方法がある．等化の手法について，Mayekawaの方法は，複数の冊子を一括して等化することができるという，他の方法にはない利点をもっている．
共通な項目をもつ問題冊子を含むテストを実施した後，これらの問題冊子と共通の問題冊子をさらに作成し，等化し続けることで，規準集団と比較可能なスコアや項目特性値を推定し続けることが可能である（項目バンク増殖法）．これらの項目特性値を項目バンクに記録していくためには，項目バンク中に記録された項目特性値やスコアが，等化の操作の前後で変化しないことが理想である．その意味で，(2)の手続きは，多母集団IRTモデルを仮定したスコアの推定手法を用いるかぎり，等化手続きに伴い過去の推定結果が変動する．よって，(1)もしくは(3)の方法が望ましいことが指摘される．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成28年度においては，(1)IRTによる項目母数の推定及び等化手法の探索，(2)シミュレーションによる方法間の検討，(3)実データの収集及び利用可能性の検討，の3点を行った．
(1)については，「研究実績の概要」で記したとおり，過去のIRTにおける等化手法を検討した結果，本研究課題で取り上げるテストデザインにおいて望ましい方法を抽出することができた．これらの手法において，項目数や受験者数，項目の信頼性といった観点から，実際にスコアを返す手続きを安定して行うことができるかについて，検討する必要性が示された．
(2)については，必要なプログラムを作成した上で，「研究実績の概要」で記した(1)及び(2)の方法について行うことができた．ただし，(3)の方法を実施するための機能を追加する必要があるため，今後は(3)の方法を実現するためのプログラムを作成（または既存のものを探索）し，さらに検討することとする．また，シミュレーションの研究の結果については，結果を的確に表す評価指標についてさらに検討が必要なため，公刊は平成29年度中を予定している．
(3)については，データ提供元2社（株式会社エヌ・ティ・エス及び学研メディカル秀潤社（実際の契約は学研ホールディングス））と秘密保持契約を結んだ上で，平成27・28年度実施分テストについて，データの提供を受けた．利用可能性の検討については，データのコーディング（どの受験者がどの冊子を受験したか）について変換するプログラムを作成し，データの形式を統一した．
|
| Strategy for Future Research Activity |
平成29年度については，前年度までの研究で明らかになった項目母数推定及び等化の手法を人工データに当てはめるシミュレーションによる検討をさらに行う．その上で，テストの実データを入手できた分について，人工データのシミュレーションと同じ方法を適用して推定を行う．分析手法については「研究業績の概要」で示した(1)の方法（5種類）及び(3)の方法を用いることとする．ただし，比較対照するために(2)の方法についても行う．
テストの実データについては，両テストにおいて共通受験者・共通項目デザインによるリンクが取れた状態になっているデータセットがすでに入手できているので，これらを項目バンク増殖法に沿った形で欠測させていき，共通項目数や共通受験者の人数のバリエーションを変えた数パターンのデータを生成するための仕組みを構築する．さらに，現時点で計画されている標準化テストにおいて，必要とされる項目バンクのサイズについて情報収集し，そこから毎回の本試験で必要とされる「項目パラメタをつけるべき項目数」を求め，本研究の枠組みで必要な等化の精度が得られるか検討する．
平成30年度については，平成29年度中に実施された試験の実データを入手し，さらに項目バンクを増殖させた状態を再現し，同様の手順で分析を試みる．あわせて，標準化テストを安定して運用するために，必要な試行試験（フィールドテスト）や本試験の実施回数，毎回の試験で含めるべきアンカー項目数，受験者数などについて，これまで見出された知見をもとに，さらに検討を行う．
|
