2022 Fiscal Year Annual Research Report
項目反応理論に基づくパフォーマンス評価フレームワークの開発と実証実験
| Project/Area Number |
21H00898
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 准教授 (10732571)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | パフォーマンス評価 / ベイズ統計 / テスト理論 / 人工知能 / 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
パフォーマンス評価の信頼性を改善する手法の一つとして，評価者のバイアスを取り除いて受検者の能力を推定できる項目反応モデルが知られている．しかし，このような項目反応モデルを現実の試験で継続的・効果的に運用するためにはいくつかの問題が残る．本研究では，このような項目反応モデルを継続的・効果的に運用するための手法群として，1）適切な評価デザインの自動設計手法，2）項目反応モデルから得られる様々な統計情報に基づく分析レポートの自動生成手法，3）補助情報を活用したモデル・パラメータ推定精度改善手法，を開発するとともに，それらを統合した評価フレームワークの開発を目指す．
この目標に対し，令和4年度には，令和3年度に開発した各要素技術を発展させた．1）については，令和3年度に検討した医療系大学間共用試験OSCEの適切な評価者割当デザインに従ったデータを利用し，項目反応モデルの適用実験を行った．分析結果は，医療系大学間共用試験の試験信頼性妥当性検討委員会と全国説明会で報告した．２）に関しては，項目反応理論と大規模言語モデルの様々な統合技術を開発し，項目反応モデルの解釈とその言語的な説明について検討を進めた．研究成果は，電子情報通信学会論文誌に掲載され，言語処理分野の難関国際会議COLINGにもフルペーパで採択された．また，教育システム情報学会 論文賞・全国大奨励賞，日本テスト学会 大会発表賞などを受賞した．3）については，評価者特性に加えて，ルーブリックやテスト問題の特性も考慮して多次元的な尺度上で受験者の能力を評価できる項目反応モデルと評価者特性が時間変化する評価者特性ドリフトと呼ばれる現象を捉えたモデルを開発し，評価者特性な多様な分析を実現した．研究成果は，査読付き国際論文誌Behavior Research Methodsに採択され，国内学会では，教育システム情報学会 優秀研究賞を受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上述の通り，本研究の要素技術となる3つの技術それぞれについて順調に研究が進行しており，前年度に引き続き研究業績も多数発表している．このことから，おおむね順調に進展していると評価した．
|
| Strategy for Future Research Activity |
令和5年度には，本研究で開発を目指すパフォーマンス評価フレームワークの要素技術として研究してきた技術を引き続き発展させるとともに，それらを用いた実証実験を進める．実証実験としては，医療系大学間共用試験OSCEにおいてリンケージ可能な評価者割り当てデザインで収集された実際の評点データに対して我々の開発してきた項目反応モデルを適用し，結果として得られる評価者特性値に基づいて分析レポートを自動生成し，各組織にフィードバックするという実践を行う．なお，分析レポートの自動作成手法（項目反応モデルから得られる様々な統計情報から有益な情報を抽出し，その情報をdata-to-text技術を用いて非専門家にも理解しやすい形式に変換して出力する手法）は現在も開発中であるため，引き続き基礎技術の開発も進める．同様に，本研究の基礎技術の一つである，評価者特性の効率的な推定手法（評価者の属性情報や心理尺度，採点時間などの様々な補助情報を活用して実現）についても引き続き開発と評価を進める．また，得られた研究成果は適宜発表していく．
|
