Building the integrated support system for test development
| Project/Area Number |
21K02831
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
石井 秀宗 名古屋大学, 教育発達科学研究科, 教授 (30342934)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
荒井 清佳 独立行政法人大学入試センター, 研究開発部, 准教授 (00561036)
安永 和央 環太平洋大学, 次世代教育学部, 准教授 (80777665)
寺尾 尚大 独立行政法人大学入試センター, 研究開発部, 准教授 (70827055)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
|
|---|
| Keywords | テスト / DIF / 入試 / 心理尺度 / 問題作成 / ガイドライン / 項目分析 / アンケート / テスト作成 / テスト理論 / 教育測定 |
|---|
| Outline of Research at the Start |
本研究では，テストの作成・実施にあたって，測定の専門家が教科の専門家と協働しうる部分をWeb上のシステムとして構築し，教師等がこれを活用することにより，より合理的で妥当なテストの作成・実施を可能にすることを目的とする。
具体的には，テストの設計，利用法，実施手順，問題作成，採点，項目分析等，テストに関する一連のプロセスについて，フローチャート，ガイドライン，仕様書，入力フォーム，分析システム等を備えた，良質なテストを作成・実施するための総合支援システムを開発・公開し，教育現場等におけるテストの質の向上を目指す。
|
| Outline of Annual Research Achievements |
本研究の目的は，テストの作成・実施において測定の専門家が担う部分をWeb上のシステムとして構築し，教師等がそれを活用することにより，合理的で妥当なテストの作成・実施を可能にすることである。
3年目の2023年度は，まず，特異項目機能（Differential Item Functioning：DIF）の検知方法に関する研究を行った。能力の程度が同じであるにもかかわらず，項目の内容等によって能力推定値が異なることがある。このような特異な機能を持つ項目を使って能力値を推定するのは不適切であり，そのような項目は検知して除外する必要がある。
DIFを警告する方法はいくつか提案されているが（Logistic回帰法， Lordカイ2乗法，Mantel-Haenszel法など），結果に一貫性がなかった。そこで本研究では，複数のDIF検出法を統合した新しい手法（Multi-Detectors Combination Approach：MDC）を提案した。統合の仕方として，Logistic Regression (LR), Naive Bayes (NB), Tree-Augmented Naive Bayes (TAN), Support Vector Machines (SVM)を考えた。テスト長，標本サイズ，DIFの大きさ，DIF項目の割合など，テスト条件やDIF条件をさまざまに設定して，その有効性をシミュレーション研究により検討したところ，提案手法，とくにTree-Augmented Naive Bayes (TAN)を用いた場合，従来法よりもDIFを正しく検出し，能力推定をより精確に行えることが確認された。この研究は第17回日本テスト学会大会発表賞を受賞している。
この他，テストの作成・実施に関する研究として，大学入試における観点別評価の利用の可能性や，高大連携活動への参加経験と高大連携活動に対する価値評定との関連を検討する研究にも携わった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまで，合理的で妥当なテストの作成・実施を支援するWeb上のシステムの構築にあたり，テスト問題作成ガイドライン，アンケート調査項目作成ガイドライン，心理尺度作成ガイドラインをまとめ学会で発表するとともに，いくつかの書籍に掲載した。ガイドラインの開発はひとまず完了している。これらのガイドラインは，「テスト研究」Webサイト（https://www.educa.nagoya-u.ac.jp/~ishii-h/test.html）で公開されている。
教師等がテストデータを分析するための項目分析ツールの開発も済ませており，上記のウェブサイトで公開している。日本語版（Excel版，R版），英語版（Web版）を揃えており，国内のみならず海外のユーザーが利用することにも対応している。
上記の他，テストの作成・実施において測定の専門家が担う部分に関して，同ウェブサイトでは，以下の内容を掲載し，教師等が利用することを可能にしている。「テストの問題点」（テストとは， テストに対する批判，テストの評価の問題，テストの使い方の問題，日本のテスト文化の特徴，テスト研究の必要性，テスト研究の領域），「テストの作成」（良いテストの要件，テストの分類，問題形式，選択式，構築式，選択式と記述式の比較，テスト仕様書，テストブループリント），「テストの評価」（構成概念，古典的テスト理論，妥当性，信頼性，信頼性と妥当性の関係），「項目分析」（項目分析とは，項目分析で用いられる指標，トレースライン，項目分析の例，項目分析に基づく項目修正），「項目応答理論 (IRT)」（合計得点の問題点，項目応答理論とは，求められる要件，項目特性曲線，能力値の推定，情報関数，等化・尺度化）。
以上から，本年度の進捗状況について，おおむね順調に進行していると判断される。
|
| Strategy for Future Research Activity |
2023年度までに，テスト問題作成ガイドライン，アンケート調査項目作成ガイドライン，心理尺度作成ガイドラインを作成した。今後は，CBT（Computer Based Testing），大規模テスト，クラスルームテストなど，テスト場面に応じたガイドラインを作成することが期待される。また，現場の教員には教科科目ごとのガイドラインがほしいという声もあり，それに対応する必要もあると考えられる。
ガイドラインの使用例について，テスト問題作成ガイドラインの使用例は作成したが，アンケート調査項目作成ガイドライン，心理尺度作成ガイドラインの使用例はまだ作成していない。アンケートや心理尺度は多くの職域・領域で利用されるものであり，ガイドラインのイメージをより具体的に把握できる使用例を提示することが望まれる。そこで，次年度の研究活動において，アンケー調査項目作成ガイドライン，心理尺度作成ガイドラインの使用例を作成し，学会やWeb等で公開することを検討している。
最近は，CBTやIRTが一般にも広く知られるようになってきている。しかし，IRTを使えばそれだけで学力の経年変化を捉えることができるなど，誤った理解をされている場合も多く見受けられる。よって，CBTやIRTなどについての正しい理解を，一般にも分かりやすく伝える必要がある。
2024年度は本研究活動の最終年度になるため，これまでの研究成果をまとめる必要もある。研究成果を公表するWebサイトをさらに拡充整備するとともに，成果を学会や学術誌等で公表し，テスト作成に関する技術やスキルをより広めて行くことが求められる。
|
Report
(3 results)
Research Products
(23 results)
