| Project/Area Number |
19H05663
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (S)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Broad Section J
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
植野 真臣 電気通信大学, 大学院情報理工学研究科, 教授 (50262316)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
繁桝 算男 慶應義塾大学, 社会学研究科(三田), 訪問教授 (90091701)
荒木 孝二 東京医科歯科大学, 歯学部, 非常勤講師 (70167998)
鶴田 潤 東京医科歯科大学, 統合教育機構, 准教授 (70345304)
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 助教 (70726166)
大久保 智哉 独立行政法人大学入試センター, 研究開発部, 准教授 (80512136)
|
|---|
| Project Period (FY) |
2019-06-26 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥161,070,000 (Direct Cost: ¥123,900,000、Indirect Cost: ¥37,170,000)
Fiscal Year 2023: ¥28,860,000 (Direct Cost: ¥22,200,000、Indirect Cost: ¥6,660,000)
Fiscal Year 2022: ¥31,590,000 (Direct Cost: ¥24,300,000、Indirect Cost: ¥7,290,000)
Fiscal Year 2021: ¥31,070,000 (Direct Cost: ¥23,900,000、Indirect Cost: ¥7,170,000)
Fiscal Year 2020: ¥30,680,000 (Direct Cost: ¥23,600,000、Indirect Cost: ¥7,080,000)
Fiscal Year 2019: ¥38,870,000 (Direct Cost: ¥29,900,000、Indirect Cost: ¥8,970,000)
|
|---|
| Keywords | eテスティング / 等質テスト / アダプティブテスト / パフォーマンス評価 / 適応型テスト / パフォーマンステスト |
|---|
| Outline of Research at the Start |
本研究では，eテスティングの運用過程で経年的に受検者への測定誤差が増加する問題の解決を目指し，継続的に高精度のテストを生成し続けるための技術・運営法の提供と，実際の大規模テストへの適用を通した実証を行う．また，近年，ニーズが高まっている筆記試験や実技試験などのパフォーマンステストおいて，スコアの測定誤差を等質かつ継続的に減少させていく手法の開発を行い，実際のパフォーマンステストに適用して実証する．
|
| Outline of Annual Research Achievements |
本研究は，近年ニーズが高まっている筆記式試験や実技試験などのパフォーマンステストを含んで，高精度の測定誤差が持続するeテスティングプラットフォームを開発し，実運用によりその有効性を示すことを目指している．令和3年度は，提案プラットフォームを構成する以下の基礎技術について，令和2年度に引き続き研究を進めた．1）最大クリーク・アルゴリズムと整数計画法を用いて，テスト生成数をより向上させるアルゴリズムの開発，2）項目露出を一様とする等質テスト自動構成アルゴリズムの開発，3）項目露出を制御する等質適応型テストの開発，4）異質評価者の同定と継続的なトレーニング手法の開発，5）自然言語処理を用いた筆記試験における自動採点手法の開発．
1）と2）については実装と評価実験が完了し，研究成果は英文誌Behaviormetrikaに掲載された．3）についても順調に技術開発は進んでおり，論文投稿を進めている．4）については，異質評価者の特性を多次元的な尺度で表現できる新たな項目反応モデルを開発し，国際論文誌Behaviormetrikaと教育分野における人工知能活用に関する主要国際会議であるArtificial Intelligence in Educationに成果が採択された．5）については，深層学習モデルと項目反応理論を組み込んだ新たな方法論を複数開発し，英文論文誌IEEE TransacstionsとBehaviormetrikaに1本ずつ，電子情報通信学会論文誌に2本，教育システム情報学会に1本の論文が掲載された．また，本研究テーマの主要課題の一つである「パフォーマンステストの継続運用を想定した運用デザインの設計とその実施支援システムの開発」に関しては，東京医科歯科大学での実証実験を実施し，実データを取得した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画に示した全ての事項について，順調に開発が進んでおり，多くの研究業績も出ていることから，「おおむね順調に進行して いる」と判断した.
|
| Strategy for Future Research Activity |
本年度は，提案プラットフォームを構成する基礎技術の開発を引き続き進めるとともに，その成果の発表を行う.具体的には，1)劣化項目の検出及び必要項目数の予測手法，2)項目露出を制御する等質適応型テスト手法，3)評価者特性を逐次推定し，信頼性の低下が検出された評価者に適切なトレーニング・プログラムを提供できるシステム，の研究を進める.さらに，これまでに開発した要素技術を統合したプラットフォームの開発と評価を進めるとともに，運用ガイドラインの作成にも着手する.
|
| Assessment Rating |
Interim Assessment Comments (Rating)
A: In light of the aim of introducing the research area into the research categories, the expected progress has been made in research.
|
