Developing chained computerized adaptive testing for formative assessment
| Project/Area Number |
23K22332
|
|---|
| Project/Area Number (Other) |
22H01061 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09080:Science education-related
|
|---|
| Research Institution | Nagoya University (2022, 2024)
Yamagata University (2023) |
|---|
Principal Investigator |
安田 淳一郎 名古屋大学, 教育基盤連携本部, 准教授 (00402446)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
前 直弘 大阪大学, 核物理研究センター, 協同研究員 (10796098)
小島 健太郎 九州大学, 基幹教育院, 准教授 (20525456)
植松 晴子 (小松晴子) 東京学芸大学, 教育学部, 教授 (70225572)
中村 琢 岐阜大学, 教育学部, 准教授 (70377943)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2025: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2024: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2023: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2022: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
|
|---|
| Keywords | 物理教育研究 / 科学教育 / 教育評価 / 学習評価 / テスト理論 / 項目反応理論 / コンピュータ適応型テスト |
|---|
| Outline of Research at the Start |
評価テストの精度向上のために設問数を増やすと，調査負担が増大するというジレンマの問題がある。本研究では，この問題に測定頻度を増やし，フィードバックを還元するという新しい視点と手法から解決を試みる。具体的には，毎回の授業で小テストとして実施するコンピュータ適応型テスト（CAT）の結果を連鎖的に能力推定に組み込んだアルゴリズムを開発し，テストの効率性を高める。さらに，連鎖的CATに基づく精確かつ細やかなフィードバックの方法等を開発し，受検者にとっての有益性を高めることで調査の負担感を抑える。連鎖的CATは，既存の適応型学習システムのテスト機能の精度を高める上で，幅広く役立つ可能性がある。
|
| Outline of Annual Research Achievements |
【連鎖的FCI-CATのアルゴリズム開発】2022年3月までに本研究課題の予備的研究により連鎖的FCI-CATの１連鎖目を開発し，2022年度の計画目標は達成していた。そのため，2023年度に計画していた2連鎖以上のCATアルゴリズムの開発に向け，文献調査および試行的な開発・分析を実施した。
【連鎖的FCI-CATのフィードバック法の開発】効果的なフィードバック表現法の開発に向け，国内外の文献を調査し，成果を研究グループ内で共有した。また，2023年3月に安田・小島・Hullの3名でロンドン大学キングスカレッジ校を訪問し，C.Harrison氏より形成的評価に関する助言を得た。
【連鎖的FCI-CATの妥当性評価】妥当性評価の調査設計に向け，国内外の文献を調査し，成果を研究グループ内で共有した。また，ロンドン大学を訪問した際，海外研究協力者のR.Brock氏とともに妥当性評価の調査方法を検討した。具体的には，マイクロジェネティック法に基づく，聞き取り調査での質問項目，および量的分析との整合性を確認する方法等について検討した。帰国後，研究グループでの検討を重ね，妥当性評価の調査設計を完了した。
【項目バンクの拡充・項目分析法の開発】FCI 30問分すべての部分設問群の開発を完了した。2022年度新規に開発したFCI 9問分の部分設問群について国内5大学で調査を実施し，計475名分の解答データ（有効解答計359名分）を得て，FCI-CATの項目バンクに追加可能な状況を整えた。また，本調査データを活用するため部分設問群の解答データを沖積図（Alluvial diagram）で表現し，FCIのある設問を正答した学生がその設問で問われている力学概念をどれほど理解しているのかを系統的に分析する方法を開発した。この成果について，日本物理学会 2023年春季大会で口頭発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度にワークステーション納入の遅れにより，研究計画の遅れが生じたが，2024年4月現在においてはアルゴリズム開発の遅れは取り戻している。研究論文の執筆等，研究成果の報告に関しては研究計画よりやや遅れているが，総合的に見ればおおむね順調に進んでいると判断されるため。
|
| Strategy for Future Research Activity |
連鎖的FCI-CATの妥当性調査（本調査）は2024年度の後期に予定されているため，2024年度前期は国際会議での発表および研究論文の執筆等，成果報告に注力する。
|
Report
(1 results)
Research Products
(7 results)
