Development of e-Testing platform ensuring sustainable reliability

2023 Fiscal Year Final Research Report

• Project/Area Number: 19H05663
• Research Category: Grant-in-Aid for Scientific Research (S)
• Allocation Type: Single-year Grants
• Review Section: Broad Section J
• Research Institution: The University of Electro-Communications
• Principal Investigator: Ueno Maomi 電気通信大学, 大学院情報理工学研究科, 教授 (50262316)
• Co-Investigator(Kenkyū-buntansha): 繁桝 算男 慶應義塾大学, 社会学研究科(三田), 訪問教授 (90091701) ; 荒木 孝二 東京医科歯科大学, 歯学部, 非常勤講師 (70167998) ; 鶴田 潤 東京医科歯科大学, 統合教育機構, 准教授 (70345304) ; 宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571) ; 宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 准教授 (70726166) ; 大久保 智哉 独立行政法人大学入試センター, 研究開発部, 准教授 (80512136)
• Project Period (FY): 2019-06-26 – 2024-03-31
• Keywords: eテスティング / 項目反応理論 / データサイエンス / 自然言語処理

Outline of Final Research Achievements

In this study, we developed e-testing technologies to continuously achieve high measurement accuracy and uniform tests. These technologies include methods for the automatic construction of uniform tests, item bank management, and uniform adaptive testing. Additionally, to sustain high-quality performance tests, we developed methods for optimizing rater assignment, item response theory models considering various rater effects, and automatic scoring of descriptive answers using natural language processing technology. Furthermore, the developed e-testing technologies were implemented in the CBT format entrance examination at the University of Electro-Communications and the performance test OSCE for inter-university medical examinations. Based on these insights, we developed operational guidelines for e-testing.

Free Research Field

教育工学

Academic Significance and Societal Importance of the Research Achievements

本研究で開発した高い測定精度と等質性を継続できるeテスティング，パフォーマンステストの技術は，人工知能，コンピュータサイエンス，数理情報，統計学，心理学を高度に融合して実現されている．個別の要素技術が高い独創性を有することに加え，複数の領域を融合した新たな学術領域を開拓している点でも学術的に高いインパクトを有している．また，本研究で開発した技術やガイドラインに基づいて実現される高品質なeテスティングシステムは，その運用方法も含め，日本発の技術として世界の産業界に新しいマーケットを獲得できると期待できる．