2017 Fiscal Year Research-status Report
項目バンク構築における等化済み項目特性の推定方法に関する研究
| Project/Area Number |
16K17312
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
光永 悠彦 名古屋大学, 教育発達科学研究科, 准教授 (70742295)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 等化 / 項目反応理論 / 多母集団IRTモデル / 重複テスト分冊法 |
|---|
| Outline of Annual Research Achievements |
共通な項目をもつ複数の問題冊子（フォーム）を用いたテストデザインについて，冊子間で共通の意味をもつようなスコア（能力母数）や項目特性値（項目母数；識別力や困難度など）を得るために，項目反応理論（IRT）を用いた等化の方法を検討した．テストスコアの根拠となる項目特性（項目パラメタ）を、複数行われるテストをまたいで比較可能な形で「等化」することで、どのテストを受験しても共通の意味を持つテストスコアを得ることが可能となる。その際、特定の受験者集団を「規準集団」と定め、スコアの意味を定義する。等化に当たっては、共通して出題される項目群（アンカー項目）を用いた「共通項目デザイン」や複数のフォームを同一の受験者が解答する「共通受験者デザイン」が必須である。
これまでの研究においては、個別に実施されてきたフォームについてそれぞれ項目母数を推定し、規準集団に対して実施されたフォームから得られた項目母数に、個別に推定してきた項目母数を変換（線形変換）する「個別推定」が行われている。また、多母集団IRT分析を用いた「同時推定」において、規準集団における能力値分布を固定する方法や、規準集団における項目母数を個別に推定しておき、これらの項目母数に、同時推定しておいた項目母数を線形変換する方法が提案されている。
しかし、共通項目デザインを経年的に行い、項目バンク（項目情報を一元的に管理するデータベース）に等化済みの項目母数をもつ項目を累積させていく「項目バンク増殖法」については、十分な知見の蓄積がなかった。本研究課題ではこの手法によるシミュレーション研究や、実データによる分析を行い、項目バンク増殖法における等化手法として、テスト実践上ふさわしい等化手法を検討してきた。これらの検討を通じ、テスト成績の経年比較を伴う学力調査などについて、より正確な手法による結果を明らかにすることが期待される。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度においては，項目バンク増殖法に関して、(1)シミュレーションによる等化方法の検討、(2)実データを用いた分析、の2点を行った．
(1) については、項目バンク増殖法を模した、人工データを用いたシミュレーションを行い、項目バンク内に入れる新作項目の数や項目母数の真値などを操作して、テスト実践場面においてどのような等化手法を用いるべきかを、真値と推定値の近さを指標として検討した。その結果、(a)個別推定（複数のテスト冊子をまとめて一つのテスト冊子に等化できるMayekawaの方法）や線形変換を併用した同時推定を行うことで、より真の値に近い項目母数が得られやすいこと、(b)線形変換を行わない同時推定の場合は、アンカー項目の項目母数の推定値が、実施回を重ねるにしたがって真値からかけはなれていく傾向がみられたこと、という点が明らかになった。これらの知見から、テスト実践場面における等化は、個別推定、もしくは線形変換を伴った同時推定を行うことが適切と結論した。
(2)については，すでに平成28年度において、データ提供元2社（株式会社エヌ・ティ・エス及び学研メディカル秀潤社（実際の契約は学研ホールディングス））と秘密保持契約を結んだ上で，平成27・28年度実施分テストについて，データの提供を受けている．そのうえで、(1)の研究知見に基づき、より真の値を得られやすい等化手法が、これらの実データにおいても実効性のある等化手法であるかについて、検討を行った。ただし、テスト実践場面に役立つための結果を得るためには、テストの一次元性との関連を精査する必要があるため、結果の公刊は平成30年度中をめどとしている。また、平成29年度分のデータについては、一部の形式に不備があることから、平成30年度中にマージを行い、3年分の経年データとすることとした。
|
| Strategy for Future Research Activity |
平成30年度については、人工データを用いたシミュレーションをさらに行うとともに、「研究の進捗状況」の(2)で示した実データを用いた分析をさらに行う。等化手法については人工データに基づいた知見から、すでに真値に近い値となる手法がわかっているため、この結果が実データについても当てはまるかについて検討する。また、テスト実践上のみならず、なぜこのような結果になったのかに関する、等化の方法論的考察についても試みる。また、テストの妥当性に関する特性、特に一次元性に着目した形で、等化手法の頑健性を定量的に検証する方法についても、検討する。
共通受験者デザインを用いるテストについては、複数のテストを同時に等化しようとすればするほど、一人当たりでみたときにより多くの項目を提示しなければならなくなる。真値とのずれの大きさだけではなく、このようなテスト実施上の観点から、共通受験者デザインと共通項目デザインを比較することも、今後の検討対象である。また、毎回複数のテスト冊子を用いて、共通受験者デザインによって複数テスト冊子間の等化を行いつつ、実施回をまたいで共通の項目を用いることで共通項目デザインによって実施回間の等化を行う、といった場合、共通項目デザインと共通受験者デザインが混在することになるが、このような場合についても検討する。
より効率的で実践的な標準化テストを実施するためには、本研究課題で明らかになった点を考慮に入れ、実際のテストに生かすための方策を提案する必要があろう。これらについては、関係学会（日本行動計量学会、日本テスト学会等）の学会誌への論文投稿のみならず、学力調査等のプロジェクトを通じて、本研究で明らかになった事柄を反映したテストデザインとし、事例を報告する試みを今後行っていきたい。
|
