2021 Fiscal Year Annual Research Report
項目反応理論に基づくパフォーマンス評価フレームワークの開発と実証実験
| Project/Area Number |
21H00898
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | パフォーマンス評価 / ベイズ統計 / テスト理論 / 人工知能 / 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
パフォーマンス評価の信頼性を改善する手法の一つとして，評価者のバイアスを取り除いて受検者の能力を推定できる項目反応モデルが知られている．しかし，このような項目反応モデルを現実の試験で継続的・効果的に運用するためにはいくつかの問題が残る．本研究では，このような項目反応モデルを継続的・効果的に運用するための手法群として，1）適切な評価デザインの自動設計手法，2）項目反応モデルから得られる様々な統計情報に基づく分析レポートの自動生成手法，3）補助情報を活用したモデル・パラメータ推定精度改善手法，を開発するとともに，それらを統合した評価フレームワークの開発を目指す．
この目標に対し，令和3年度には各要素技術の設計・開発を進めた．1）については，医療系大学間共用試験OSCEにおける適切な評価者割り当てデザインを自動生成するシステムを構築し，実際の試験データでその有効性を分析した．分析結果は，医療系大学間共用試験実施評価機構の試験信頼性妥当性検討委員会と全国説明会で報告した．２）に関しては，項目反応理論と大規模言語モデルを統合した様々な技術を開発することで，項目反応理論と言語処理技術の橋渡しの可能性について検討した．研究成果は，IEEE Transactions on Learning TechnologiesやBehaviormetrika，電子情報通信学会，教育システム情報学会論文誌などの査読付き論文誌に採択された．3）については，多次元的な尺度で受験者の能力を評価できる新たな項目反応モデルの開発を行い，より詳細な評価者特性の分析に成功した．この成果は，査読付き論文誌Behaviormetrikaに加え，教育人工知能のトップ国際鍵の一つであるAIEDにも採択された．
令和3年度には，国内学会において電子情報通信学 研究奨励賞や人工知能学会 若手奨励賞，全国大会優秀賞などを受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
上述の通り，本研究の要素技術となる3つの技術それぞれについて研究開発が進行しており，研究業績も多数発表している．初年度から多数の研究成果が上がっていることから，当初の計画以上に進展していると評価した．
|
| Strategy for Future Research Activity |
令和4年度は，本研究で開発を目指すパフォーマンス評価フレームワークの要素技術となる以下の3つの技術について，令和3年度に試作した技術の発展と実験による評価を行う．
1）評価デザイン（評価者割り当て）の自動生成手法:実試験で生じうる様々な制約を満たしつつリンケージも可能な評価者割り当てデザインを自動構成できる手法．本手法には整数計画法を活用する．
2）分析レポートの自動作成手法の開発:項目反応モデルから得られる様々な統計情報から有益な情報を抽出し，それを非専門家にも理解しやすい形式に変換して出力できる技術．本手法には言語処理分野で近年注目されるdata-to-text技術の活用を検討する．
3）評価者特性の効率的な推定手法の開発:評価データが少ない場合の評価者特性の推定精度を改善するために，評価者の属性情報や心理尺度，採点時間などの様々な補助情報を加味した特性値推定手法．
|
