マルチフォーム多肢選択問題試験に向けた知識レベル推定評価システムの開発

2004 Fiscal Year Annual Research Report

• Project/Area Number: 15590464
• Research Institution: Jikei University School of Medicine
• Principal Investigator: 木村 直史 東京慈恵会医科大学, 医学部, 教授 (80138742)
• Co-Investigator(Kenkyū-buntansha): 福島 統 東京慈恵会医科大学, 医学部, 教授 (60173332)
• Keywords: 多肢選択問題 / 知識レベル / 評価 / 期待正答率 / 正解率 / 偶然正解率 / MCQ / 難易度

Research Abstract

多肢選択問題は最も客観的な評価法として種々の国家試験に用いられてきたが、その主要な問題点の一つは正解率と実際の知識レベルとの関係が非線形であり、出題形式と知識レベルによって偶然正解率が大きく異なる点であった。多くの選択肢から一つあるいは複数の正解肢を選ぶようなMCQ試験においては、期待正答率(P)は、一般に知識レベル、すなわち各選択肢の正否が判定できる確率(q)の多次多項式で与えられる(選択肢がn個の場合、n次多項式)。本研究プロジェクトの目的は、この期待正答率の算出式を用いて、問題形式によらない受験者の真の知識レベルや問題の真の難易度を逆に推定するシステムを構築することである。昨年度(平成15年度)は、本研究計画に基づき、n肢択一問題についてはn=2〜26の場合について、n肢択二問題についてはn=4〜6の場合について、相当する期待正答率の算出式から受験者の知識レベルを逆推定するシステムをコンピュータ上に構築した。平成16年度は、適用問題範囲をさらに拡張し、n肢択二問題についてはn=4〜10の場合について、n肢択三問題についてはn=5〜7の場合について、受験者の知識レベルを逆推定するシステムを構築し、このプログラムを実際に活用する際、容易に改変可能にするために、汎用されている表計算ソフトウェア上に移植した。また、新たに作成した多形式(タイプRのn肢択一問題)の試行問題(100題)を作成して104名の学生に解答させた結果と、過去の学内進級試験において得られた結果について、本プログラムを用いて解析を行い、システムの動作を確認すると同時に、使いやすくするためにいくつかの改良を加えた。実際の正解率の平均値は問題形式により明らかに異なっていたにもかかわらず、推定された知識レベル(q)の平均値は、問題形式によらずおおよそ一定しており、q値の分布も互いに類似していることが明らかにされた。