|
多肢選択問題(MCQ)は、受験者に要求される知識の最も客観的な評価法として医師国家試験をはじめ、種々の国家資格試験等に採用されてきた。しかしながら、その主要な問題点の一つは、まぐれ当りで正解に至る可能性があり、しかも出題形式(選択肢または選択肢の組合せの数、および選択する数)に依存して、偶然正解率ならびに知識レベルと正解率との関係が大きく異なる点であった。多くの選択肢から一つあるいは複数の正解肢を選ぶようなMCQ試験においては、期待正答率(P)は、一般に知識レベル、すなわち各選択肢の正否が判定できる確率(q)の多次多項式で与えられる(選択肢がn個の場合、n次多項式となる)。そこで本研究プロジェクトでは、この各問題形式の期待正答率を求める多次多項式を用いて、実際に得られた正解率から、逆に受験者の実際の知識レベルを推定評価するプログラムを開発した。このプログラムは、最大で3000題までの多様な形式からなるMCQ問題、すなわち2〜26の選択肢から1つの正解肢を選ぶMCQ問題、および3〜26の選択肢から2つの正解肢を選ぶMCQ問題などの結果を、同時に処理することが可能である。しかも使用者が容易に改変できるように汎用されている表計算ソフトウェア上に設計されている。この知識レベルの推定評価システムの妥当性を検証するために、実際に行われた学内進級試験問題の結果について解析を行った。その結果、実際の正解率の平均値は問題形式により明らかに異なっていたにもかかわらず、推定された知識レベル(q)の平均値は、問題形式によらずおおよそ一定しており、その分布も互いに類似していることが明らかにされた。本プログラムを用いれば、マルチフォーム(多形式)多肢選択問題においても、問題形式によらない受験者の真の知識レベルを推定評価することが可能となり、と同時にMCQ問題自体の難易度評価も可能になると考えられた。
|
