2021 Fiscal Year Research-status Report
Building the integrated support system for test development
| Project/Area Number |
21K02831
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
石井 秀宗 名古屋大学, 教育発達科学研究科, 教授 (30342934)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | テスト / アンケート / 問題作成 / ガイドライン / 項目分析 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，テストの作成・実施において測定の専門家が担う部分をWeb上のシステムとして構築し，教師等がそれを活用することにより，合理的で妥当なテストの作成・実施を可能にすることである。
1年目の2021年度は，まず，テスト問題の統計的性質を定量的に分析する項目分析の手法について，識別力指標の1つであるD指標の推定精度に関する検討を行い，学術誌に成果を公表した。
次に，テスト問題作成ガイドラインの素案を作成し，学会で発表を行った。海外では多枝選択問題と記述式問題でガイドラインが分かれているが，共通項目があること，また，本邦では多枝選択問題と記述式問題が同一のテストに含まれていることも多いことから，両者を1つにまとめ，「問題の内容(6項目)」「問題の形式(4項目)」「問題の記述(6項目)」「設問部分(4項目)」「選択枝(14項目)」「記述式問題の採点に関して(5項目)」の合計39項目からなるテスト問題作成ガイドラインを策定した。
回答者からデータを収集する方法としてはアンケートも広く用いられている。そこで，アンケート調査項目作成ガイドラインの素案も並行して作成した。「アンケート調査の作成の前に(2項目)」「すべての回答形式の項目について(13項目)」「選択枝を用いる項目について(4項目)」「選択枝に順序性のある項目について(9項目)」「選択枝に順序性のない項目について(6項目)」「記述式の項目について(3項目)」「オンライン調査について(8項目)」の合計45項目からなるアンケート調査項目作成ガイドラインを策定し，学会で発表した。
この他，大学のFD研修会の講師を2件担当し（「良質な試験問題の作成法」「より良い試験問題を作るための知識と技術」），合理的で妥当なテストを作成・実施するための知識と技術の普及に務めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
合理的で妥当なテストの作成・実施を支援するWeb上のシステムの構築にあたり，主要なコンテンツの1つとなるテスト問題作成ガイドライン，また，アンケート調査項目作成ガイドラインの素案をまとめ学会で発表した。これらのガイドラインは，本研究の成果を公表するWebサイトにおいて公開されており，テスト作成者が参照できるようになっている。とくにテスト問題作成ガイドラインについては，ガイドラインに沿った項目修正の例も掲載しており，具体的なガイドラインのイメージを持てるようにしている。
項目分析において識別力を評価する指標の1つであるD指標について，より精度の高い推定法を，コンピュータシミュレーション及び実データを用いて検討した。そして，受検者を能力群別に分割するにあたっての，適切な方法，基準，項目数などに関する知見を得た。この成果は，今後項目分析システムを改良するにあたっての有用な研究成果となる。
本研究等で蓄積された，合理的で妥当なテストを作成・実施するための知識と技術について，大学教員等を対象とした研修会で講演し，普及に務めた。
以上から，本年度の進捗状況について，おおむね順調に進行していると判断される。
|
| Strategy for Future Research Activity |
2021年度は，テスト問題作成ガイドラインについて，ガイドラインに沿った項目修正例を作成した。しかし，アンケート項目については修正例を作成していなかった。アンケートは，教育場面に限らず，多くの職域・領域で利用されるものであり，ガイドラインのイメージをより具体的に把握できる修正例を提示することが望まれる。そこで，次年度以降の研究活動において，アンケー調査項目作成ガイドラインに沿った項目修正の例を作成し，学会やWeb等で広く公開することを計画している。
2021年度に公表したガイドラインは素案であり，既存のガイドラインや研究により得られた知見，また実際のテスト問題等を参考に，複数の専門家によってまとめられたものである。しかし，その有効性についての検討はなされていない。今後の研究において，ガイドラインの有効性を検討し，精錬させていくことが求められる。
テストデータを分析する項目分析システムについて，これまでに開発したシステムでは，多枝選択式の択一問題にしか対応していない。しかし，本邦の多くの試験では，複数の正答枝をすべて正しく選択してはじめて得点を得られるような複数選択項目が用いられることも多い。そのため，複数選択式問題にも対応するように，項目分析システムの改良を行う。
研究成果の蓄積や内容の充実化に伴い，支援システムを公開するWebサイトのページ構成を変更する必要性が高まっている。より使いやすい支援システムとなるように，コンテンツを増やすとともに，Webページの修正・更新を行っていく。
|
