• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Redesign of item questions for class evaluations by qualitative and quantitative analysis

Research Project

Project/Area Number 20K03163
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 09070:Educational technology-related
Research InstitutionFukui University of Technology

Principal Investigator

杉原 一臣  福井工業大学, 経営情報学部, 教授 (90367508)

Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2021: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2020: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Keywordsアンケート / 質問項目の機能不全 / 項目反応理論 / IRT / 指標開発 / 指標の開発 / 授業評価 / 強い相関関係 / 授業評価アンケート / 再設計 / 授業改善 / 定量分析 / 定性分析
Outline of Research at the Start

近年,正課授業と課外授業の区別なく,授業に関するアンケートが実施されるようになり,受講生の理解度の他,興味や関心の大きさを測定することが行われている。しかしながら,直接的かつ平易な言葉で質問を記述することで,アンケート作成者の意図が露見し回答の誘導が行われたり,回答者の誤解を招いたりすることがある。このように,アンケート結果が回答者の考えを反映していない状態を「アンケートの機能不全」と呼んでいる。本研究では,適切な授業改善を進める上でアンケートの設問に潜む機能不全に着目し,アンケートに関する定性的・定量的な情報から,既存アンケートの再設計を行う方法を確立する。

Outline of Annual Research Achievements

研究計画の初年度は,過去のアンケートデータを分析し,「機能していない質問項目」の特徴を探るとともに,文献調査を行い「ワーディング」と質問項目の機能不全の関連性を検証した。2年目には,前年度の分析を継続しながら機能不全に関する指標の開発を試みたが,十分な成果は得られなかった。3年目には,項目反応理論(IRT)において,ロジットモデルを用いて項目の評価を行ったが,結果と機能不全の関連性を説明する理論を見出せず,4年目に至っている。

4年目は,引き続き,IRTを用いた分析に重点を置き,質問項目の有効性を評価することに取り組んだ。IRTの基本的な考え方は,各項目がどの程度回答者の能力や特性を識別できるかを評価することである。具体的には,その項目が回答者の能力差をどれだけ明確に区別できるかを示す「識別指数」と,回答するのにどれほど難しいかを示す「困難度」を算出して評価を行った。分析の結果,いくつかの項目について識別指数または困難度に極端な値が得られた。中でも,「識別指数」が高く「困難度」が低い項目は,アンケートにおいて重視していた項目であり,経験的ではあるが,その有効性を示唆するものと考えられた。一方,「識別指数」が低く「困難度」が高い項目については,重視していた項目との比較のために用意したダミー質問であり,見直しの対象として列挙されたことが注目に値する。

以上の分析により,IRTを用いた項目の評価が有用であることが示唆された。この結果は,アンケートの見直しと改善を推進し,「問う」質の向上に貢献するものと考える。

Current Status of Research Progress
Current Status of Research Progress

4: Progress in research has been delayed.

Reason

本研究課題では,「回答にゆらぎが生じるアンケートの要因とはどのようなものか」を学術的な問いとして定め,適切な授業改善を進める上でアンケートの設問に潜む機能不全に着目し,アンケートに関する定性的・定量的な情報から,既存アンケートの再設計を行う方法を確立すること」を目的としている。これまでの3年間は,コロナ禍の影響で計画通りに進行せず,4年目は,研究期間の延長と計画の見直しが必要となった。

前年度に比べると,4年目は,研究に進展は見られたが,機能不全の構造を表すモデルや理論の確立に至っていない。特に,機能不全の指標化に必要と考えている回答群からの統計的(定量的)な情報と機能不全の諸要因との構造を説明する理論やモデルの検討が進んでいない状況について,研究の停滞を強く感じている。

Strategy for Future Research Activity

研究機関を当初計画よりさらに1年延長し,研究4年目の成果を踏まえて,回答群からの統計的(定量的)な情報と機能不全の諸要因との構造を説明する理論やモデルの模索において,心理学をはじめとする社会科学分野の文献をくまなくあたり,その手掛かりを得るとともに,今までの成果を踏まえて,構造を説明する独自モデルの確立を目指す。この手法に基づき,従前のアンケートの改善を試み,研究計画のとおり,機能していない質問項目の表現の改訂,ならびに項目の統合や削除を行う方法を開発する。

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (2 results)

All 2024 2021

All Presentation (2 results)

  • [Presentation] 項目反応理論を用いたアンケート項目見直しの試み2024

    • Author(s)
      杉原 一臣
    • Organizer
      日本教育工学会2024 年春季全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 授業評価アンケートにおける設問項目の機能不全に関する一考察2021

    • Author(s)
      杉原 一臣
    • Organizer
      日本教育工学会2021年春季全国大会
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi