• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Developing chained computerized adaptive testing for formative assessment

Research Project

Project/Area Number 23K22332
Project/Area Number (Other) 22H01061 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 09080:Science education-related
Research InstitutionNagoya University (2022, 2024)
Yamagata University (2023)

Principal Investigator

安田 淳一郎  名古屋大学, 教育基盤連携本部, 准教授 (00402446)

Co-Investigator(Kenkyū-buntansha) 前 直弘  大阪大学, 核物理研究センター, 協同研究員 (10796098)
小島 健太郎  九州大学, 基幹教育院, 准教授 (20525456)
植松 晴子 (小松晴子)  東京学芸大学, 教育学部, 教授 (70225572)
中村 琢  岐阜大学, 教育学部, 准教授 (70377943)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2025: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2024: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2023: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2022: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Keywords物理教育研究 / 科学教育 / 教育評価 / 学習評価 / テスト理論 / 項目反応理論 / コンピュータ適応型テスト
Outline of Research at the Start

評価テストの精度向上のために設問数を増やすと,調査負担が増大するというジレンマの問題がある。本研究では,この問題に測定頻度を増やし,フィードバックを還元するという新しい視点と手法から解決を試みる。具体的には,毎回の授業で小テストとして実施するコンピュータ適応型テスト(CAT)の結果を連鎖的に能力推定に組み込んだアルゴリズムを開発し,テストの効率性を高める。さらに,連鎖的CATに基づく精確かつ細やかなフィードバックの方法等を開発し,受検者にとっての有益性を高めることで調査の負担感を抑える。連鎖的CATは,既存の適応型学習システムのテスト機能の精度を高める上で,幅広く役立つ可能性がある。

Outline of Annual Research Achievements

【連鎖的FCI-CATのアルゴリズム開発】2022年3月までに本研究課題の予備的研究により連鎖的FCI-CATの1連鎖目を開発し,2022年度の計画目標は達成していた。そのため,2023年度に計画していた2連鎖以上のCATアルゴリズムの開発に向け,文献調査および試行的な開発・分析を実施した。
【連鎖的FCI-CATのフィードバック法の開発】効果的なフィードバック表現法の開発に向け,国内外の文献を調査し,成果を研究グループ内で共有した。また,2023年3月に安田・小島・Hullの3名でロンドン大学キングスカレッジ校を訪問し,C.Harrison氏より形成的評価に関する助言を得た。
【連鎖的FCI-CATの妥当性評価】妥当性評価の調査設計に向け,国内外の文献を調査し,成果を研究グループ内で共有した。また,ロンドン大学を訪問した際,海外研究協力者のR.Brock氏とともに妥当性評価の調査方法を検討した。具体的には,マイクロジェネティック法に基づく,聞き取り調査での質問項目,および量的分析との整合性を確認する方法等について検討した。帰国後,研究グループでの検討を重ね,妥当性評価の調査設計を完了した。
【項目バンクの拡充・項目分析法の開発】FCI 30問分すべての部分設問群の開発を完了した。2022年度新規に開発したFCI 9問分の部分設問群について国内5大学で調査を実施し,計475名分の解答データ(有効解答計359名分)を得て,FCI-CATの項目バンクに追加可能な状況を整えた。また,本調査データを活用するため部分設問群の解答データを沖積図(Alluvial diagram)で表現し,FCIのある設問を正答した学生がその設問で問われている力学概念をどれほど理解しているのかを系統的に分析する方法を開発した。この成果について,日本物理学会 2023年春季大会で口頭発表を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2022年度にワークステーション納入の遅れにより,研究計画の遅れが生じたが,2024年4月現在においてはアルゴリズム開発の遅れは取り戻している。研究論文の執筆等,研究成果の報告に関しては研究計画よりやや遅れているが,総合的に見ればおおむね順調に進んでいると判断されるため。

Strategy for Future Research Activity

連鎖的FCI-CATの妥当性調査(本調査)は2024年度の後期に予定されているため,2024年度前期は国際会議での発表および研究論文の執筆等,成果報告に注力する。

Report

(1 results)
  • 2022 Annual Research Report
  • Research Products

    (7 results)

All 2023 2022 Other

All Int'l Joint Research (1 results) Presentation (5 results) (of which Int'l Joint Research: 2 results,  Invited: 2 results) Funded Workshop (1 results)

  • [Int'l Joint Research] アラスカ大学フェアバンクス校(米国)

    • Related Report
      2022 Annual Research Report
  • [Presentation] コンピューター適応型テストによる学習成果の可視化:理論と活用2023

    • Author(s)
      安田 淳一郎
    • Organizer
      九州大学 基幹教育院 粒子系理論物理学研究室セミナー
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] Optimizing the length of computerized adaptive testing for the Force Concept Inventory2023

    • Author(s)
      Jun-ichiro Yasuda
    • Organizer
      University of Alaska Fairbanks, Physics Journal Club (Online)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Optimizing the length of computerized adaptive testing for the Force Concept Inventory2023

    • Author(s)
      Jun-ichiro Yasuda
    • Organizer
      Centre for Research in Education in Science, Technology, Engineering & Mathematics, King’s College London, Visitor's seminar
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 沖積図と部分設問群を用いた力学概念理解の系統的分析2023

    • Author(s)
      安田淳一郎,Michael Hull,前直弘
    • Organizer
      日本物理学会 2023年春季大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 力学概念指標を用いたコンピュータ適応型テストの開発 IV2022

    • Author(s)
      安田淳一郎,Michael Hull,前直弘
    • Organizer
      日本物理学会 2022年秋季大会
    • Related Report
      2022 Annual Research Report
  • [Funded Workshop] Chained-CAT meeting 2023 @Yamagata2023

    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi