2023 Fiscal Year Research-status Report
Redesign of item questions for class evaluations by qualitative and quantitative analysis
| Project/Area Number |
20K03163
|
|---|
| Research Institution | Fukui University of Technology |
|---|
Principal Investigator |
杉原 一臣 福井工業大学, 経営情報学部, 教授 (90367508)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | アンケート / 質問項目の機能不全 / 項目反応理論 / IRT / 指標開発 |
|---|
| Outline of Annual Research Achievements |
研究計画の初年度は，過去のアンケートデータを分析し，「機能していない質問項目」の特徴を探るとともに，文献調査を行い「ワーディング」と質問項目の機能不全の関連性を検証した。2年目には，前年度の分析を継続しながら機能不全に関する指標の開発を試みたが，十分な成果は得られなかった。3年目には，項目反応理論（IRT）において，ロジットモデルを用いて項目の評価を行ったが，結果と機能不全の関連性を説明する理論を見出せず，4年目に至っている。
4年目は，引き続き，IRTを用いた分析に重点を置き，質問項目の有効性を評価することに取り組んだ。IRTの基本的な考え方は，各項目がどの程度回答者の能力や特性を識別できるかを評価することである。具体的には，その項目が回答者の能力差をどれだけ明確に区別できるかを示す「識別指数」と，回答するのにどれほど難しいかを示す「困難度」を算出して評価を行った。分析の結果，いくつかの項目について識別指数または困難度に極端な値が得られた。中でも，「識別指数」が高く「困難度」が低い項目は，アンケートにおいて重視していた項目であり，経験的ではあるが，その有効性を示唆するものと考えられた。一方，「識別指数」が低く「困難度」が高い項目については，重視していた項目との比較のために用意したダミー質問であり，見直しの対象として列挙されたことが注目に値する。
以上の分析により，IRTを用いた項目の評価が有用であることが示唆された。この結果は，アンケートの見直しと改善を推進し，「問う」質の向上に貢献するものと考える。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
本研究課題では，「回答にゆらぎが生じるアンケートの要因とはどのようなものか」を学術的な問いとして定め，適切な授業改善を進める上でアンケートの設問に潜む機能不全に着目し，アンケートに関する定性的・定量的な情報から，既存アンケートの再設計を行う方法を確立すること」を目的としている。これまでの3年間は，コロナ禍の影響で計画通りに進行せず，4年目は，研究期間の延長と計画の見直しが必要となった。
前年度に比べると，4年目は，研究に進展は見られたが，機能不全の構造を表すモデルや理論の確立に至っていない。特に，機能不全の指標化に必要と考えている回答群からの統計的（定量的）な情報と機能不全の諸要因との構造を説明する理論やモデルの検討が進んでいない状況について，研究の停滞を強く感じている。
|
| Strategy for Future Research Activity |
研究機関を当初計画よりさらに1年延長し，研究4年目の成果を踏まえて，回答群からの統計的（定量的）な情報と機能不全の諸要因との構造を説明する理論やモデルの模索において，心理学をはじめとする社会科学分野の文献をくまなくあたり，その手掛かりを得るとともに，今までの成果を踏まえて，構造を説明する独自モデルの確立を目指す。この手法に基づき，従前のアンケートの改善を試み，研究計画のとおり，機能していない質問項目の表現の改訂，ならびに項目の統合や削除を行う方法を開発する。
|
| Causes of Carryover |
新型コロナウイルスによるが5類に移行したものの，計画の精査が十分でなく，4年目（令和5年度）も，現地調査，打ち合わせ，学会発表等，対面での実施を予定していた活動がすべて滞った。
令和6年度は，研究時間の確保に加え，オンライン開催のメリットを最大限に活用し，研究会や学会での報告機会を可能な限り増やすことで，成果発表の機会を確保するだけでなく，関連研究の情報を広く収集し，集めた情報を本研究の推進に役立てる。
|
