• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Building the integrated support system for test development

Research Project

Project/Area Number 21K02831
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 09070:Educational technology-related
Research InstitutionNagoya University

Principal Investigator

石井 秀宗  名古屋大学, 教育発達科学研究科, 教授 (30342934)

Co-Investigator(Kenkyū-buntansha) 荒井 清佳  独立行政法人大学入試センター, 研究開発部, 准教授 (00561036)
安永 和央  環太平洋大学, 次世代教育学部, 准教授 (80777665)
寺尾 尚大  独立行政法人大学入試センター, 研究開発部, 准教授 (70827055)
Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Keywordsテスト / DIF / 入試 / 心理尺度 / 問題作成 / ガイドライン / 項目分析 / アンケート / テスト作成 / テスト理論 / 教育測定
Outline of Research at the Start

本研究では,テストの作成・実施にあたって,測定の専門家が教科の専門家と協働しうる部分をWeb上のシステムとして構築し,教師等がこれを活用することにより,より合理的で妥当なテストの作成・実施を可能にすることを目的とする。
具体的には,テストの設計,利用法,実施手順,問題作成,採点,項目分析等,テストに関する一連のプロセスについて,フローチャート,ガイドライン,仕様書,入力フォーム,分析システム等を備えた,良質なテストを作成・実施するための総合支援システムを開発・公開し,教育現場等におけるテストの質の向上を目指す。

Outline of Annual Research Achievements

本研究の目的は,テストの作成・実施において測定の専門家が担う部分をWeb上のシステムとして構築し,教師等がそれを活用することにより,合理的で妥当なテストの作成・実施を可能にすることである。
3年目の2023年度は,まず,特異項目機能(Differential Item Functioning:DIF)の検知方法に関する研究を行った。能力の程度が同じであるにもかかわらず,項目の内容等によって能力推定値が異なることがある。このような特異な機能を持つ項目を使って能力値を推定するのは不適切であり,そのような項目は検知して除外する必要がある。
DIFを警告する方法はいくつか提案されているが(Logistic回帰法, Lordカイ2乗法,Mantel-Haenszel法など),結果に一貫性がなかった。そこで本研究では,複数のDIF検出法を統合した新しい手法(Multi-Detectors Combination Approach:MDC)を提案した。統合の仕方として,Logistic Regression (LR), Naive Bayes (NB), Tree-Augmented Naive Bayes (TAN), Support Vector Machines (SVM)を考えた。テスト長,標本サイズ,DIFの大きさ,DIF項目の割合など,テスト条件やDIF条件をさまざまに設定して,その有効性をシミュレーション研究により検討したところ,提案手法,とくにTree-Augmented Naive Bayes (TAN)を用いた場合,従来法よりもDIFを正しく検出し,能力推定をより精確に行えることが確認された。この研究は第17回日本テスト学会大会発表賞を受賞している。
この他,テストの作成・実施に関する研究として,大学入試における観点別評価の利用の可能性や,高大連携活動への参加経験と高大連携活動に対する価値評定との関連を検討する研究にも携わった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

これまで,合理的で妥当なテストの作成・実施を支援するWeb上のシステムの構築にあたり,テスト問題作成ガイドライン,アンケート調査項目作成ガイドライン,心理尺度作成ガイドラインをまとめ学会で発表するとともに,いくつかの書籍に掲載した。ガイドラインの開発はひとまず完了している。これらのガイドラインは,「テスト研究」Webサイト(https://www.educa.nagoya-u.ac.jp/~ishii-h/test.html)で公開されている。
教師等がテストデータを分析するための項目分析ツールの開発も済ませており,上記のウェブサイトで公開している。日本語版(Excel版,R版),英語版(Web版)を揃えており,国内のみならず海外のユーザーが利用することにも対応している。
上記の他,テストの作成・実施において測定の専門家が担う部分に関して,同ウェブサイトでは,以下の内容を掲載し,教師等が利用することを可能にしている。「テストの問題点」(テストとは, テストに対する批判,テストの評価の問題,テストの使い方の問題,日本のテスト文化の特徴,テスト研究の必要性,テスト研究の領域),「テストの作成」(良いテストの要件,テストの分類,問題形式,選択式,構築式,選択式と記述式の比較,テスト仕様書,テストブループリント),「テストの評価」(構成概念,古典的テスト理論,妥当性,信頼性,信頼性と妥当性の関係),「項目分析」(項目分析とは,項目分析で用いられる指標,トレースライン,項目分析の例,項目分析に基づく項目修正),「項目応答理論 (IRT)」(合計得点の問題点,項目応答理論とは,求められる要件,項目特性曲線,能力値の推定,情報関数,等化・尺度化)。
以上から,本年度の進捗状況について,おおむね順調に進行していると判断される。

Strategy for Future Research Activity

2023年度までに,テスト問題作成ガイドライン,アンケート調査項目作成ガイドライン,心理尺度作成ガイドラインを作成した。今後は,CBT(Computer Based Testing),大規模テスト,クラスルームテストなど,テスト場面に応じたガイドラインを作成することが期待される。また,現場の教員には教科科目ごとのガイドラインがほしいという声もあり,それに対応する必要もあると考えられる。
ガイドラインの使用例について,テスト問題作成ガイドラインの使用例は作成したが,アンケート調査項目作成ガイドライン,心理尺度作成ガイドラインの使用例はまだ作成していない。アンケートや心理尺度は多くの職域・領域で利用されるものであり,ガイドラインのイメージをより具体的に把握できる使用例を提示することが望まれる。そこで,次年度の研究活動において,アンケー調査項目作成ガイドライン,心理尺度作成ガイドラインの使用例を作成し,学会やWeb等で公開することを検討している。
最近は,CBTやIRTが一般にも広く知られるようになってきている。しかし,IRTを使えばそれだけで学力の経年変化を捉えることができるなど,誤った理解をされている場合も多く見受けられる。よって,CBTやIRTなどについての正しい理解を,一般にも分かりやすく伝える必要がある。
2024年度は本研究活動の最終年度になるため,これまでの研究成果をまとめる必要もある。研究成果を公表するWebサイトをさらに拡充整備するとともに,成果を学会や学術誌等で公表し,テスト作成に関する技術やスキルをより広めて行くことが求められる。

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (23 results)

All 2024 2023 2022 2021 Other

All Journal Article (3 results) (of which Peer Reviewed: 2 results) Presentation (13 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results) Book (4 results) Remarks (3 results)

  • [Journal Article] 高校時の高大連携活動に対する価値評定と大学生活の認識との関連―利用した入試区分による検討―2024

    • Author(s)
      橘 春菜・永野拓矢・寺嶌裕登・石井秀宗
    • Journal Title

      大学入試研究ジャーナル

      Volume: 34 Pages: 44-51

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] D指標を用いた項目分析のためのテスト条件の検討―より真値に近い状態を目指して―2021

    • Author(s)
      坪田彩乃・石井秀宗
    • Journal Title

      Quality Education

      Volume: 11 Pages: 19-40

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] 大学入試における共通テストの複数回実施は実現可能か―日本のテスト文化やこれまで見送られてきた理由などからの検討―2021

    • Author(s)
      石井秀宗
    • Journal Title

      CSHE Research library 高大接続と入試改革

      Pages: 93-108

    • NAID

      120006425584

    • Related Report
      2021 Research-status Report
  • [Presentation] 観点別評価は大学入学者選抜に利用可能か―高校を対象とした調査より―2023

    • Author(s)
      永野拓矢・寺嶌裕登・橘 春菜・石井秀宗
    • Organizer
      令和5年度全国大学入学者選抜研究連絡協議会大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 高大連携活動に対する価値評定と大学生活の認識との関連―大学生を対象とした調査結果より―2023

    • Author(s)
      橘 春菜・永野拓矢・寺嶌裕登・石井秀宗
    • Organizer
      令和5年度全国大学入学者選抜研究連絡協議会大会
    • Related Report
      2023 Research-status Report
  • [Presentation] Enhancing accuracy and robustness in the detection of differential item functioning through a Multi-Detectors Combination approach2023

    • Author(s)
      Huang, S., Shimizu, Y., & Ishii, H.
    • Organizer
      日本テスト学会第21回大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 高校現場における観点別学習状況の評価と大学入試活用への可能性―高校の進路・教務担当教諭を対象とした調査より―2023

    • Author(s)
      永野拓矢・寺嶌裕登・橘 春菜・石井秀宗
    • Organizer
      日本テスト学会第21回大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 不注意回答を含むデータを考慮した項目反応モデルの提案2023

    • Author(s)
      清水友貴・石井秀宗
    • Organizer
      日本行動計量学会第51回大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 心理尺度作成ガイドラインの開発 ―尺度作成の流れを踏まえての検討―2022

    • Author(s)
      坪田彩乃・石井秀宗・荒井清佳・安永和央・寺尾尚大
    • Organizer
      日本テスト学会第20回大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 外国人留学生入試のクラスター分析2022

    • Author(s)
      呉 欽鵬・石井秀宗
    • Organizer
      日本テスト学会第20回大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 研究委員会企画シンポジウム「学力テストの本質を改めて見直す:伝統と継承と発展」(指定討論)2022

    • Author(s)
      石井秀宗
    • Organizer
      日本テスト学会第20回大会
    • Related Report
      2022 Research-status Report
    • Invited
  • [Presentation] Construction of Chinese Vocabulary Test for Learners across Multiple Backgrounds(中国語)2022

    • Author(s)
      黄山・石井秀宗
    • Organizer
      第14回並太地区国際漢語教学学会年会
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] What item flaws affect item characteristics without recognized by examinees?2021

    • Author(s)
      Tsubota.A., & Ishii.H.
    • Organizer
      International Congress of Psychology
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Development of a multi-dimensional social support measurement scale2021

    • Author(s)
      Fujino, M., & Ishii, H.
    • Organizer
      Asian Association of Social Psychology
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] テスト問題作成ガイドラインの開発(1)―日本での普及に向けた整理―2021

    • Author(s)
      石井秀宗・荒井清佳・坪田彩乃・安永和央・寺尾尚大
    • Organizer
      日本テスト学会第19回大会
    • Related Report
      2021 Research-status Report
  • [Presentation] アンケート調査項目作成ガイドラインの開発(1)―日本での普及に向けた整理―2021

    • Author(s)
      坪田彩乃・石井秀宗・荒井清佳・安永和央・寺尾尚大
    • Organizer
      日本テスト学会第19回大会
    • Related Report
      2021 Research-status Report
  • [Book] 第11章 学力の測定と評価(中谷素之・平石賢二・高井次郎(編) 「学び・育ち・支えの心理学―これからの教育と社会のために―」)2024

    • Author(s)
      石井秀宗
    • Total Pages
      16
    • Publisher
      名古屋大学出版会
    • ISBN
      9784815811518
    • Related Report
      2023 Research-status Report
  • [Book] コラム アドミッション教員からみた環境設定端末配布方式CBTの可能性と課題(「モバイル端末管理の機能を活用したCBT環境の簡易設定に関する研究報告書」)2024

    • Author(s)
      石井秀宗
    • Total Pages
      4
    • Publisher
      大学入試センター研究開発部
    • Related Report
      2023 Research-status Report
  • [Book] 測定と評価(高村和代・安藤史高・小平英志(編) 「主体的に学ぶ発達と教育の心理学」)2022

    • Author(s)
      石井秀宗
    • Total Pages
      11
    • Publisher
      ナカニシヤ出版
    • ISBN
      9784779516542
    • Related Report
      2022 Research-status Report
  • [Book] 統計学の基礎(岩壁 茂・他(編) 「臨床心理学スタンダードテキスト」)2022

    • Author(s)
      石井秀宗
    • Total Pages
      10
    • Publisher
      金剛出版
    • ISBN
      9784772419161
    • Related Report
      2022 Research-status Report
  • [Remarks] テスト研究Webサイト

    • URL

      https://www.educa.nagoya-u.ac.jp/~ishii-h/test.html

    • Related Report
      2023 Research-status Report 2022 Research-status Report
  • [Remarks] Item Analysis System

    • URL

      https://huangshan.shinyapps.io/ItemAnalysisSystem/

    • Related Report
      2023 Research-status Report
  • [Remarks] 石井研究室 テスト研究

    • URL

      https://www.educa.nagoya-u.ac.jp/~ishii-h/test.html

    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi