Redesign of item questions for class evaluations by qualitative and quantitative analysis

Research Project

Project/Area Number	20K03163
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 09070:Educational technology-related
Research Institution	Fukui University of Technology
Principal Investigator	杉原一臣福井工業大学, 環境情報学部, 教授 (90367508)
Project Period (FY)	2020-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2022: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000) Fiscal Year 2021: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000) Fiscal Year 2020: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Keywords	アンケート / 質問項目の機能不全 / 指標の開発 / 授業評価 / 強い相関関係 / 授業評価アンケート / 再設計 / 授業改善 / 定量分析 / 定性分析
Outline of Research at the Start	近年，正課授業と課外授業の区別なく，授業に関するアンケートが実施されるようになり，受講生の理解度の他，興味や関心の大きさを測定することが行われている。しかしながら，直接的かつ平易な言葉で質問を記述することで，アンケート作成者の意図が露見し回答の誘導が行われたり，回答者の誤解を招いたりすることがある。このように，アンケート結果が回答者の考えを反映していない状態を「アンケートの機能不全」と呼んでいる。本研究では，適切な授業改善を進める上でアンケートの設問に潜む機能不全に着目し，アンケートに関する定性的・定量的な情報から，既存アンケートの再設計を行う方法を確立する。
Outline of Annual Research Achievements	研究計画の初年度は，過去に初学者を対象に実施したアンケートデータを定量的に分析し，「機能していない質問項目」に共通する特徴の発見に努めた。また，社会調査に関する文献を調査し，調査票の作成における「ワーディング」の諸問題と設問の機能不全との関連性を検証した。研究計画の2年目にあたる令和3年度は，前年度に行った定量的・定性的な分析を継続しつつ，設問の機能不全を表す指標の開発に着手したが，検証に基づく機能不全の要因や条件を明示するには至っておらず，また，機能不全の指標化について特筆すべき成果が得られなかった。研究計画の3年目で当初計画での最終年度となる令和4年度は，前年度に引き続き，因果関係を含む隠れた構造の解明に取り組みつつ，項目反応理論のロジットモデルにより，設問ごとの識別力等の評価に着手したが，得られた結果と機能不全との関係を説明する理論が見出せず，その検討に更なる時間を要している。全体を通じて，コロナ禍において当初の計画通りに進められず，研究期間の延長により，研究計画2年目から3年目の活動について再度立て直しが必要と考えている。特に，機能不全の構造を表すモデルや理論の確立が重要な課題であり，この点については，当初の研究計画において十分な精査を行えなかった点は否めず，アンケートの設計に関連する研究分野の文献調査や研究者とのコミュニケーションの機会を増やし，残された期間内でのモデルや理論の確立，および具体的な設問項目の削除や統合の方法を提案する。
Current Status of Research Progress	Current Status of Research Progress 4: Progress in research has been delayed. Reason 本研究課題では，「回答にゆらぎが生じるアンケートの要因とはどのようなものか」を学術的な問いとして定め，適切な授業改善を進める上でアンケートの設問に潜む機能不全に着目し，アンケートに関する定性的・定量的な情報から，既存アンケートの再設計を行う方法を確立すること」を目的としている。しかしながら，機能不全の指標化に必要と考えている回答群からの統計的（定量的）な情報と機能不全の諸要因との構造を説明する理論やモデルの検討が進んでおらず，設問の機能不全を表す指標は未だ開発できていない。関連する分野の文献調査および研究者との意見交換を続ける必要がある。以上の状況から，本研究課題の進捗状況は遅れているものと判断する。
Strategy for Future Research Activity	研究機関を当初計画より1年延長し，研究2年目以降の作業に再度着手する。特に，機能不全の指標化に必要と考えている回答群からの統計的（定量的）な情報と機能不全の諸要因との構造を説明する理論やモデルの模索において，心理学をはじめとする社会科学分野の文献をくまなくあたり，その手掛かりを得るとともに，今までの成果を踏まえて，構造を説明する独自モデルの確立を目指す。この手法に基づき，従前のアンケートの改善を試み，研究計画のとおり，機能していない質問項目の表現の改訂，ならびに，項目の統合や削除を行う方法を開発する。以上の取り組みの成果を教育関連の学会で報告する他，社会調査や情報関連の学会でも成果報告し，多方面から研究計画に関する意見を募ることで，アンケートの見直しに関する研究の意義を広め，アンケートを通じた各種改善活動に寄与する。