|
ある特性を測定するテストにおいて、同じ能力水準を有するが異なる下位集団（たとえば男女）に属する受験者同士を比較したときその受験者の属する集団の違いによって特定のテスト項目の難易度に違いが生じている場合、その項目は「特異項目機能（Differential Item Functioning ;DIF）」を示すと言う。本研究は、公平性の高いテスト項目の作成に寄与することを目的として、BJTビジネス日本語能力テストを資料としてDIF分析を行った。分析は統計的な方法と、テスト項目作成の専門家による主観的な方法とあわせて行い、公平なテスト項目とは何であるかといった問いに対して、量的・質的両側面からの議論を試みた。
最終年度となった平成27年度の研究成果は以下の3点である。
(1)ビジネス日本語テストの160項目を用いて性別（男・女）および居住地（国内・国外）による統計的なDIF分析を行った。統計的分析の方法は、1)Mantel-Haenszel法、2)分散分析法、3)IRT法の3つの方法を用いた。その結果、性別のDIFは20項目、居住地のDIFは67項目検出された。そのうち、3つの統計手法で共通して検出されたのは、性別のDIFが3項目、居住地のDIF（国内に有利）が14項目であった。
(2)(1)で分析したテスト項目の中から60項目を抽出し、ビジネス日本語テストのテスト項目作成の専門家による主観的なDIF分析を行った。その結果、性別のDIFに関して5つのビリーフを、居住地のDIFに関して5つのビリーフを確認した。
(3)(1)と(2)の結果を比較したところ、統計的に検出されるDIF項目と主観的に見出されるDIFは一致せず、専門家は性別によるDIFを見出すことはほとんどなく、居住地によるDIFは実際以上に多く見出す傾向があるということが明らかになった。
|
