| 研究課題/領域番号 |
21K02831
|
|---|
| 研究機関 | 名古屋大学 |
|---|
研究代表者 |
石井 秀宗 名古屋大学, 教育発達科学研究科, 教授 (30342934)
|
|---|
| 研究分担者 |
荒井 清佳 独立行政法人大学入試センター, 研究開発部, 准教授 (00561036)
安永 和央 環太平洋大学, 次世代教育学部, 准教授 (80777665)
寺尾 尚大 独立行政法人大学入試センター, 研究開発部, 准教授 (70827055)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2025-03-31
|
| キーワード | テスト / DIF / 入試 |
|---|
| 研究実績の概要 |
本研究の目的は，テストの作成・実施において測定の専門家が担う部分をWeb上のシステムとして構築し，教師等がそれを活用することにより，合理的で妥当なテストの作成・実施を可能にすることである。
3年目の2023年度は，まず，特異項目機能（Differential Item Functioning：DIF）の検知方法に関する研究を行った。能力の程度が同じであるにもかかわらず，項目の内容等によって能力推定値が異なることがある。このような特異な機能を持つ項目を使って能力値を推定するのは不適切であり，そのような項目は検知して除外する必要がある。
DIFを警告する方法はいくつか提案されているが（Logistic回帰法， Lordカイ2乗法，Mantel-Haenszel法など），結果に一貫性がなかった。そこで本研究では，複数のDIF検出法を統合した新しい手法（Multi-Detectors Combination Approach：MDC）を提案した。統合の仕方として，Logistic Regression (LR), Naive Bayes (NB), Tree-Augmented Naive Bayes (TAN), Support Vector Machines (SVM)を考えた。テスト長，標本サイズ，DIFの大きさ，DIF項目の割合など，テスト条件やDIF条件をさまざまに設定して，その有効性をシミュレーション研究により検討したところ，提案手法，とくにTree-Augmented Naive Bayes (TAN)を用いた場合，従来法よりもDIFを正しく検出し，能力推定をより精確に行えることが確認された。この研究は第17回日本テスト学会大会発表賞を受賞している。
この他，テストの作成・実施に関する研究として，大学入試における観点別評価の利用の可能性や，高大連携活動への参加経験と高大連携活動に対する価値評定との関連を検討する研究にも携わった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
これまで，合理的で妥当なテストの作成・実施を支援するWeb上のシステムの構築にあたり，テスト問題作成ガイドライン，アンケート調査項目作成ガイドライン，心理尺度作成ガイドラインをまとめ学会で発表するとともに，いくつかの書籍に掲載した。ガイドラインの開発はひとまず完了している。これらのガイドラインは，「テスト研究」Webサイト（https://www.educa.nagoya-u.ac.jp/~ishii-h/test.html）で公開されている。
教師等がテストデータを分析するための項目分析ツールの開発も済ませており，上記のウェブサイトで公開している。日本語版（Excel版，R版），英語版（Web版）を揃えており，国内のみならず海外のユーザーが利用することにも対応している。
上記の他，テストの作成・実施において測定の専門家が担う部分に関して，同ウェブサイトでは，以下の内容を掲載し，教師等が利用することを可能にしている。「テストの問題点」（テストとは， テストに対する批判，テストの評価の問題，テストの使い方の問題，日本のテスト文化の特徴，テスト研究の必要性，テスト研究の領域），「テストの作成」（良いテストの要件，テストの分類，問題形式，選択式，構築式，選択式と記述式の比較，テスト仕様書，テストブループリント），「テストの評価」（構成概念，古典的テスト理論，妥当性，信頼性，信頼性と妥当性の関係），「項目分析」（項目分析とは，項目分析で用いられる指標，トレースライン，項目分析の例，項目分析に基づく項目修正），「項目応答理論 (IRT)」（合計得点の問題点，項目応答理論とは，求められる要件，項目特性曲線，能力値の推定，情報関数，等化・尺度化）。
以上から，本年度の進捗状況について，おおむね順調に進行していると判断される。
|
| 今後の研究の推進方策 |
2023年度までに，テスト問題作成ガイドライン，アンケート調査項目作成ガイドライン，心理尺度作成ガイドラインを作成した。今後は，CBT（Computer Based Testing），大規模テスト，クラスルームテストなど，テスト場面に応じたガイドラインを作成することが期待される。また，現場の教員には教科科目ごとのガイドラインがほしいという声もあり，それに対応する必要もあると考えられる。
ガイドラインの使用例について，テスト問題作成ガイドラインの使用例は作成したが，アンケート調査項目作成ガイドライン，心理尺度作成ガイドラインの使用例はまだ作成していない。アンケートや心理尺度は多くの職域・領域で利用されるものであり，ガイドラインのイメージをより具体的に把握できる使用例を提示することが望まれる。そこで，次年度の研究活動において，アンケー調査項目作成ガイドライン，心理尺度作成ガイドラインの使用例を作成し，学会やWeb等で公開することを検討している。
最近は，CBTやIRTが一般にも広く知られるようになってきている。しかし，IRTを使えばそれだけで学力の経年変化を捉えることができるなど，誤った理解をされている場合も多く見受けられる。よって，CBTやIRTなどについての正しい理解を，一般にも分かりやすく伝える必要がある。
2024年度は本研究活動の最終年度になるため，これまでの研究成果をまとめる必要もある。研究成果を公表するWebサイトをさらに拡充整備するとともに，成果を学会や学術誌等で公表し，テスト作成に関する技術やスキルをより広めて行くことが求められる。
|
| 次年度使用額が生じた理由 |
研究の当初計画では，研究成果を国際学会や国内学会の学術集会等で発表するための旅費を計上していたが，コロナ感染症の蔓延により，集会がオンライン開催となったため，渡航費用の支出が無くなった。また，調査参加者に対する謝金の提供を計画していたが，完全にボランティアで参加することを保証するため，謝金をなくしたことにより，謝金支出が減少した。これらを受け，当初予定にはなかった研究分担者を3名追加し，研究体制を拡充した。
今年度，研究分担者の1名が異動することになり，予定していた調査を異動後に行うように計画変更した。未使用となっている経費は，次年度に実施する調査で使用する予定である。
|
