2019 Fiscal Year Annual Research Report
パフォーマンス評価のための項目反応理論とその運用モデルの開発
| Project/Area Number |
17H04726
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | パフォーマンス評価 / 項目反応理論 / eテスティング / eラーニング |
|---|
| Outline of Annual Research Achievements |
本研究は，パフォーマンス評価の信頼性を改善する手法のひとつとして実用化が期待されている評価者特性を考慮した項目反応理論に関する以下のテーマに取り組むものである．1）異質評価者に頑健な新たなモデルの開発，2）最先端のMCMCアルゴリズムによるパラメータ推定の効率化，3）様々な実践場面への適用を想定したモデル適用と性能評価．
これに対し，令和2年度には次の研究を行なった．1）に関しては，開発したモデルのシミュレーション評価とデータ実験を行い，英文論文誌に投稿した．2）については，最先端のMCMCアルゴリズムの一つであるNo-U-Turnサンプラー・ハミルトニアンモンテカルロ法による推定手法を開発し，実験によりその有効性を評価した．成果は英文論文誌に投稿した．3）に関しては次の研究を行なった．3-1）ルーブリックを用いた評価のための多次元型拡張モデルを開発し，電子情報通信学会論文雑誌に成果を掲載．3-2）小論文の採点を想定し，統計的自然言語処理技術の一つである潜在ディリクレ配分法を組み込んだ拡張モデルを開発し，トップ国際会議のAIEDに掲載．3-3）医療系大学間共用試験の実データ適用を通した実証評価の実施．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の通り，計画中の研究は全て順調に進行しており，研究成果も順次出版できているため．
|
| Strategy for Future Research Activity |
令和2年度には次を実施する．1）に関しては，最終成果が英文論文誌に採択・掲載する．2）については，最先端のMCMCアルゴリズムの一つであるNo-U-Turnサンプラー・ハミルトニアンモンテカルロ法による推定手法を開発し，その成果が英文論文誌に掲載する．3）に関しては，具体的には次の研究を行ない，それらの成果を論文誌に掲載する．3-1）ルーブリックを用いた評価のための拡張モデル開発，3-2）小論文の採点を想定し，統計的自然言語処理技術の一つである潜在ディリクレ配分法や深層学習モデルを組み込んだ拡張モデルの開発，3-3）MOOCsなどの大規模学習環境における相互評価の信頼性改善を目指したグループ構成最適化手法の開発，3-4）医療系大学間共用試験の実データ適用を通した実証評価，3-5）適切なモデル活用のための試験デザインの設計．
|
