2023 Fiscal Year Annual Research Report
項目反応理論に基づくパフォーマンス評価フレームワークの開発と実証実験
| Project/Area Number |
21H00898
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | パフォーマンス評価 / ベイズ統計 / テスト理論 / 人工知能 / 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
パフォーマンス評価の信頼性を改善する手法の一つとして，評価者のバイアスを取り除いて受検者の能力を推定できる項目反応モデルが知られている．しかし，このような項目反応モデルを現実の試験で継続的・効果的に運用するためにはいくつかの問題が残る．本研究では，このような項目反応モデルを継続的・効果的に運用するための手法群として，1)適切な評価デザインの設計手法，2)自然言語処理技術を活用してモデルの解釈性を高める手法，3)補助情報を活用したモデル・パラメータ推定精度改善手法，を開発する．
この目標に対し，令和5年度には，令和4年度までに開発した各要素技術の発展や実運用を行なった．1)については，医療系大学間共用試験OSCEにおいて適切な評価者割当デザインに沿ったデータを収集し，そのデータに対して項目反応モデルを適用する実践を行った．分析結果は，医療系大学間共用試験の試験信頼性妥当性検討委員会や全国説明会で報告した．さらに，東京医科歯科大学のOSCEでも同様に適切なデザインでの実践を行い，そのデータを用いた分析・評価を行なった．この成果は現在医学系論文誌に投稿中である．2)に関連する研究としては，項目反応理論を用いて複数の自動採点モデルをアンサンブルする手法や，文章の論理構造を解析する論述構造解析技術を自動採点モデルに組み込んで解釈性を高めた手法などを開発した．研究成果は，分野のトップジャーナルであるIEEE TLTに採択され，トップ国際会議であるAIEDにもフルペーパ論文が採択された．また，人工知能学会や教育システム情報学会などの複数の国内学会で受賞した．3)については，記述回答のテキスト情報を加味して項目反応モデルのパラメータ推定を高精度に行う手法を開発した．研究成果は，査読付き国際会議IMPSで発表し，人工知能学会や言語処理学会などの国内学会でも発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
上述の通り，本研究のそれぞれの要素技術について順調に研究が進行しており，前年度に引き続き研究業績も多数発表している．さらに次項に示す通り，令和6年度には当初予定にない発展的な課題にも取り組む想定である．以上から，「当初の計画以上に進展している」と評価した．
|
| Strategy for Future Research Activity |
令和6年度には，本研究課題で開発してきたパフォーマンス評価フレームワークの要素技術を引き続き発展させるとともに，それらの成果を取りまとめて国内外の様々な学会・論文誌で発表していく．発展技術としては，1）一般的なリンケージ手法を適用できないデータ収集デザインであっても，自動採点技術を応用することでリンケージできるようにする手法，2）大規模言語モデルを応用することで，問題文の情報から項目特性値（識別力や難易度）を予測する技術，3）大規模言語モデルと項目反応理論を融合することで，所望の項目特性の問題を自動生成する手法などの開発を目指す．これらは元々の研究計画にはなかった内容であるが，本研究課題の進展と近年の飛躍的な自然言語処理技術の発展に伴い実現可能性が高まってきたものである．上述の通り，本研究課題については当初計画に沿った十分な成果が出ているため，最終年度にはこれらの発展的な課題にも挑戦していく．なお当初予定の研究計画に対する研究成果は，最終成果物を英文のハイインパクトな査読付き論文誌を中心に投稿していく．それと同時に，上述した発展技術についても研究成果を発表できるように進めていく．
|
