2019 Fiscal Year Research-status Report
テストの品質管理に資するテスト問題作成支援システムの開発
| Project/Area Number |
17K01078
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
石井 秀宗 名古屋大学, 教育発達科学研究科, 教授 (30342934)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 項目作成ガイドライン / 項目分析 / テスト理論 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，「１．問題修正の効果を検証したアイテムバンクの構築」「２．問題作成ガイドラインの普及・浸透」「３．テストの品質管理に資するテスト問題作成支援システムの開発」の３点である。
研究3年目の2019年度は，「２．問題作成ガイドラインの普及・浸透」と「３．テストの品質管理に資するテスト問題作成支援システムの開発」を中心に研究を進めた。
「２．問題作成ガイドラインの普及・浸透」については，2018年度に行った問題修正の例を参考に，問題作成ガイドラインに準拠した問題と準拠しない問題を作成し，実際にテストを実施して，問題作成ガイドラインの実証的検討を行った。その結果，ガイドラインに非準拠であることが受検者に気づかれないにもかかわらず，正答率が変化する項目が確認された。また，項目間に依存性が生じている項目や，選択枝に否定表現が含まれる項目では，ガイドラインに準拠する項目よりも準拠しない項目の方が正答率が低かった。これらの結果より，項目の作成の仕方によっては，出題者の意図していない影響が，受検者にも意識されることなく，テスト得点や項目特性に及ぶことが明らかにされた。
「３．テストの品質管理に資するテスト問題作成支援システムの開発」については，テスト理論における項目分析の手法を使って，多枝選択式問題の性能を分析を行うシステムの構築を行った。項目分析では，受検者の応答に関して，各項目における正答率，選択枝選択率，無答率を算出する。また，各項目が上位層と下位層を弁別する力がどの程度あるかを示す識別指標の値を算出する。識別指標としては，D値，I-T相関係数，当該項目を削除したときのアルファ係数の増減などがある。2019年度は，これらの指標値の算出し，性能に疑いのある項目にはマーカーをつけるなどした項目分析システムを，Excelマクロプログラムを用いて開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
「１．問題修正の効果を検証したアイテムバンクの構築」については，問題修正の例をWeb上で公開するなど，順調に進行している。項目分析の手法の説明も行っている。
「２．問題作成ガイドラインの普及・浸透」についても，問題作成ガイドラインをWeb上で公開し，また，ガイドラインに準拠する問題と準拠しない問題を作成し，実際に調査を行って実証的な検討を行って，結果を学会等で公表し論文化するなど，順調に進行している。
一方，「３．テストの品質管理に資するテスト問題作成支援システムの開発」については，修正例の提示の遅れは回復できたものの，実際に項目分析を行うシステムの開発で遅れが生じている。当初は，誰でも項目分析を行えるように，フリーソフトでシステム開発を行っていた。これはひと通り完成しているが，そのフリーソフトを使うためにはある程度の知識が必要であり，コンピュータや当該ソフトに慣れていない者が使うのは困難であったため，利用者モニターから，もっと使いやすいソフトでのシステムの開発を求められた。
そこで，多くのユーザーが利用しているExcelで項目分析を行うシステムの開発に8月から取りかかった。しかし，途中，図表示のための計算式の変更などもあり，完成が当初予定より3ヵ月遅れの2月にずれ込んでしまった。そのため，2019年度内に予定していた検証作業とそれに基づくシステムの回収作業を行うことが困難となり，公開を控えている状態となっている。
システムの検証作業は，幾名かの協力者に個別に依頼し，問題点や改良点の指摘を受けた上で，修正を行うという作業であることから，2020年度前期には検証作業を終え，遅くとも2020年度後期には公開できる見通しである。
|
| Strategy for Future Research Activity |
「１．問題修正の効果を検証したアイテムバンクの構築」については，問題修正例のさらなる拡充を目指す。
「２．問題作成ガイドラインの普及・浸透」については，2019年度の日本テスト学会大会で開催したテストの作成や活用に関する公開シンポジウムの内容等をもとに，ガイドラインの補足資料を作成し，学校教員がより理解しやすくなるよう改良することが考えられる。
「３．テストの品質管理に資するテスト問題作成支援システムの開発」については，開発した項目分析システムの検証・修正作業を早期に終え，学校等におけるテスト作成者，実施者が，自分で項目分析を行えるよう，マニュアルや解説を添えて公開する必要がある。
問題作成に関する一連の研究をまとめ，テスト作成，問題分析に関する書籍の刊行も目指している。現状では，多くの教員が経験や勘などを頼りに，手探りでテストを作成している状態であり，本研究の成果をまとめ提示することは，学校教育現場におけるテストの質を向上させる一助となると考えられる。
|
| Causes of Carryover |
当初予定では，項目分析システムの検証作業をを2019年度中に行う予定であった。しかし，ある程度のプログラミングの知識を必要とするフリーの倒壊解析ソフトから，より一般的に使われているExcelへと，システム開発のベースとなるソフトウエアを変更したこと，また，システム開発過程で，図表示のための計算式を改良したことなどの影響もあり，システムの完成が当初予定より3ヵ月遅れ，2月にずれ込んだ。そのため，年度内の検証作業が困難になったことから，検証作業にかかる協力者への謝金や，システム改修費などの経費を，次年度に繰り越す必要が生じた。
|
