2022 Fiscal Year Annual Research Report
認知的スキルの診断を学習者の背景情報を考慮して行う統計モデル群の拡充と基盤構築
| Project/Area Number |
21J21435
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
丹 亮人 東京大学, 教育学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 認知診断モデル / 測定の不変性 / ベイズ罰則化 / 共変量 / 項目反応理論 / モード効果 / 国際大規模学力調査PISA / 自動項目生成 |
|---|
| Outline of Annual Research Achievements |
交付申請書に記載した研究の目的は、学習者の様々な背景情報と，学習において修得が求められる認知的スキルとの関連を適切に定量化できる統計モデル群の拡充とその研究基盤の構築であり、研究実施計画は、1つは、認知診断モデルにおける特異機能に対して、ベイズ罰則化による解決策を提案する研究、もう１つは、学習者の背景情報とテスト項目との関連について、歴史的に研究されてきて、今もなお新しい手法が提案されている項目反応理論の特異項目機能の研究をレビューし、理論的な観点だけでなく、シミュレーションや実際の大規模国際調査で使われたテストデータへの適用によって、実証的に最適と考えられる手法を特定していくことであった。
1つめの研究については、アトリビュートと学習者の背景情報を考慮した多母集団認知診断モデルにおいて、ベイズ罰則化であるlassoおよびspike-and-slab事前分布を用いることで、アトリビュートの修得困難度と高次潜在特性についてのパラメタの不定性に対処しながら集団異質性を考慮するモデルを考え、実験的シミュレーションの結果だけでなく大規模国際学力調査であるPISAのデータに適用した際の結果をまとめて学会発表した。
2つめの研究については、OECDの研究者との共同研究にて、PISA本調査における項目反応モデルでの項目レベルの集団異質性に加えて、テスト実施モードによる異質性を因果推論の観点から調べる研究を進めた。
これら予め計画していた研究に加えて、ベネッセ教育総合研究所の研究者との共同研究において、認知診断アセスメントのための自動項目生成システムに対して、認知診断モデルを適用することで、自動項目生成システムの構築に合わせてシステムの妥当化を行う研究を実施した。この研究では、細かく分けると3つの研究が現在も進行中であり、うち１つは学会誌に投稿済みであり査読結果を待っている状況である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度の計画としては、認知診断モデルにおける特異機能に対して、ベイズ罰則化による解決策を提案する研究と、学習者の背景情報とテスト項目との関連について、項目反応理論の特異項目機能の研究をレビューし、理論的な観点だけでなく、シミュレーションや実際の大規模国際調査で使われたテストデータへの適用によって、実証的に最適と考えられる手法を特定していくことの２つの研究を予定していた。1つ目の研究はある程度予定通り実施したものの、2つめの研究は、PISAデータや測定の不変性研究のレビューを行ううちに、クラスターレベルの因果推論の枠組みをテストモードの割り当てに当てはめることで、世界的に新しく、教育測定学の発展に寄与しうるような研究ができることが想定されたため、当初予定していなかった学術領域についてもレビューする必要性が出てきたため、シミュレーションや実データへの適用までは行えなかった。さらには、当初予定していなかった、自動項目生成システムと認知診断の統合についての研究も進めることとなった。この研究も世界的にまだ発展途上の研究でありながら、今後の教育テストにおいてとても重要な研究領域であること、共同研究の機会が得られたことから、計画にはなかったものの優先順位を高くして研究を進めた。
これらの新奇的で将来の発展が有望な研究領域にまでテーマを広げることは重要であるため、おおむね順調に研究が進展していると判断する。
|
| Strategy for Future Research Activity |
今後の研究の推進方策は次の3つの観点で進めていく予定である。1つは引き続き、心理・教育測定学における測定の不変性に関する特異機能のレビューを進めていくことである。これは、文献による理論研究だけであるとは限らず、必要に応じてシミュレーションなども踏まえながら従来法の有用な点や限界点を整理していく作業である。2つめは、国際大規模調査における項目反応理論の特異項目機能にまつわる問題として、実施テストモードの割り当てをクラスターレベルの因果推論の観点から考慮し、適切な分析手法を提案する研究である。3つめは、継続的な形成的・診断的アセスメントのために、自動項目生成システムと認知診断を統合した研究を進めていくことである。この研究は、将来的には、生徒の学習サイクルを支えるために、自動テスト生成、認知診断、効果的な自動フィードバックという3つの観点で適切なシステムを考えていく予定である。そのために、自動項目生成や認知診断だけでなく、効果的な自動フィードバックについてのレビューや導入も進めていく予定である。
|
