マルチフォーム多肢選択問題試験に向けた知識レベル推定評価システムの開発

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15590464
• Research Institution: Jikei University School of Medicine
• Principal Investigator: 木村 直史 東京慈恵会医科大学, 医学部, 教授 (80138742)
• Co-Investigator(Kenkyū-buntansha): 福島 統 東京慈恵会医科大学, 医学部, 教授 (60173332)
• Keywords: 多肢選択問題 / 知識レベル / 評価 / 期待正答率 / 正解率 / 偶然正解率 / MCQ / 難易度

Research Abstract

多肢選択問題は最も客観的な評価法として種々の国家試験に用いられてきたが、その主要な問題点の一つは正解率と実際の知識レベルとの関係が非線形であり、出題形式と知識レベルによって偶然正解率が大きく異なる点であった。我々はこれまでに選択肢が5肢のMCQ問題(5肢択一、5肢択2および5肢択3問題)について、期待正答率が知識レベル(各選択肢の正否判定確率)の5次多項式で表わされることに基づき、正解率から受験者の実際の知識レベルを推定評価する方法を確立し、その評価システムの妥当性を実際の学内試験において検証してきた。平成15年度は、本研究の計画に基づき、現行の知識レベルの推定評価システムの大幅な改修を行った結果、より一般的に、n肢択一問題についてはn=2〜26の場合について、n肢択2問題についてはn=4〜6について、期待正答率の算出式から受験者の知識レベルと実際の難易度を逆推定するシステムを、コンピュータ上に構築した。これにより、一定の範囲のマルチフォーム(多形式)多肢選択問題において、知識レベルの推定評価が可能になると考えられる。実際に、新たに作成した多形式(n肢択一問題およびタイプR問題)の試行問題(50題)を作成し、107名の学生に解答させた後、試験的に問題毎に実際の難易度の推定を行い、システムの動作を確認した。同程度の難易度の選択肢問題については、選択肢の数の増加に伴い正解率は低下したが、推定された知識レベルに大きな差は見られないことが確認された。しかし、まだ操作性に問題が残されており、誰もが容易に使える形式には至っていない。次年度は、このシステムの適用問題範囲をさらに拡張すると同時に、より使いやすいように改良を加える予定である。また、より多くの試行問題を作成し、正解率と実際の知識レベルの関係を調べ、このシステムの妥当性の検証を行う予定である。