2019 Fiscal Year Research-status Report
小論文自動採点実用化のためのルーブリックを考慮した項目反応理論の開発
| Project/Area Number |
19K21751
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
植野 真臣 電気通信大学, 大学院情報理工学研究科, 教授 (50262316)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 助教 (10732571)
宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 助教 (70726166)
|
|---|
| Project Period (FY) |
2019-06-28 – 2022-03-31
|
| Keywords | 自動採点 / ルーブリック / 項目反応理論 |
|---|
| Outline of Annual Research Achievements |
令和元年度にはルーブリックパラメータを持つ項目反応理論の開発と自動採点モデルの実装・開発を行なった．前者については，宇都・植野が開発してきた評価者パラメータを付与した項目反応モデルに，ルーブリックの特性パラメータを付与したモデルを開発した．本研究に関する成果は，2019年に電子情報通信学会論文誌に1報掲載され，さらにそれを発展させた成果が2020年5月に電子情報通信学会論文誌に掲載決定している．自動採点モデルの実装については，人工知能・統計的自然言語処理のトップカンファレンスであるAssociation for the Advancement of Artificial Intelligence (AAAI)と Association for Computational Linguistics (ACL)に採録された最先端の4つのモデルを実装した．さらに，独自の自動採点モデルとして，項目反応理論を潜在ディリクレ配分法（Latent Dirichlet Allocation）や深層学習モデルに組み込んだモデル，および，既存の深層学習モデルに人手での特徴量を組み込んだモデルを開発した．前者のモデルは2019年に電子情報通信学会に論文が掲載されるとともに，トップカンファレンスであるArtificial Intelligence in Education（AIED）にも採択された．また，言語処理系の研究会であるNLP若手の会で萌芽研究賞を受賞し，人工知能学会の研究会では若手奨励賞を受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の基礎となるルーブリック評価のための項目反応モデルと自動採点モデルの開発が当初計画通り順調に進行しており，複数の研究業績も存在するため順調に進展していると評価した．
|
| Strategy for Future Research Activity |
令和2年度には，令和元年度に開発した複数自動採点モデルをルーブリックパラメータを持つ項目反応理論を用いて統合することで，提案技術の開発を進める．さらに，提案技術の性能評価のために，シミュレーション実験と実データ実験を行う．実データ実験のためには，被験者実験を行なって実データの収集も行う．
|
