2018 Fiscal Year Annual Research Report
パフォーマンス評価のための項目反応理論とその運用モデルの開発
| Project/Area Number |
17H04726
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 助教 (10732571)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | パフォーマンス評価 / 項目反応理論 / eテスティング / eラーニング |
|---|
| Outline of Annual Research Achievements |
本研究は，パフォーマンス評価の信頼性を改善する手法のひとつとして実用化が期待されている，評価者特性を考慮した項目反応理論に関する以下のテーマに取り組むものである．1）異質評価者に頑健な新たな項目反応モデルの開発，2）最先端 MCMC アルゴリズムによるパラメータ推定の効率改善，3）様々な実践場面への適用を通した性能評価と効果的な運用モデルの開発.
これに対し，平成30年度は，平成29年度に開発した異質評価者に頑健な項目反応理論の論文化を行った．本研究成果は，電子情報通信学会論文誌Dに採録されるとともに，トップカンファレンスであるArtificial Intelligence in Education(AIED) 2018にも採録されている．
また，本技術の実運用に関わる課題として平成29年度から継続して行っている，項目反応理論と整数計画法を用いた評価者割り当て最適化手法についても平成30年度に論文化を行った．本研究成果は電子情報通信学会論文誌Dに掲載されるとともに，トップジャーナルであるIEEE Transactions on Learning Technologiesにも採録が決定している．
さらに，平成30年度は，本技術の実用化に不可欠な「等化」の問題にも取り組んだ．具体的には，項目反応理論に基づくパフォーマンステストの等化精度を様々な条件のもとで検証した．この結果，既存研究で示された条件より大幅に緩やかな条件でも十分に等化可能であることが示され，本技術の実用可能性を広げる結果となった．本研究の成果は，平成30年度に電子情報通信学会論文誌Dに掲載された．
加えて，平成30年度は，提案技術の周辺技術を幅広くサーベイし，性能の比較実験を行うことで，提案技術の特徴と優位性についても明らかにした．本研究成果は，査読付き海外論文誌Heliyon, Elsevier社に掲載された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまでに開発してきた技術の論文化を進めるとともに，平成31年度以降に計画していた提案技術な運用モデルと性能評価についても先行して進めることができた．他方で，当初計画において平成30年度に実施予定であった最先端MCMCによるパラメータ推定の高速化については，十分な高速化が達成できていない．平成31年度は，変分ベイズやEMアルゴリズムの利用，線形等化を利用した並列計算など，様々な方向性を探りながら高速化の実現を目指す．パラメータ推定の高速化については予定より進捗が遅れ気味であるが，平成31年度以降に計画していた研究を大幅に達成できていることから，「おおむね順調に進展している」と評価した．
|
| Strategy for Future Research Activity |
進捗が遅れ気味であるパラメータ推定の高速化については，現在までの進捗状況に記載した通り，引き続き検討を行う．また，先行して進捗している提案技術の性能評価と運用モデルの整理については，今年度も引き続き研究を進めていく．
|
