• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a Checklist for Determining the Validity of Evaluation Indicators to Support University Evaluation

Research Project

Project/Area Number 18K02928
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 09070:Educational technology-related
Research InstitutionNational Institution for Academic Degrees and Quality Enhancement of Higher Education

Principal Investigator

Shibui Susumu  独立行政法人大学改革支援・学位授与機構, 研究開発部, 教授 (60415924)

Co-Investigator(Kenkyū-buntansha) 橋本 貴充  独立行政法人大学入試センター, 研究開発部, 准教授 (20399489)
仲渡 江美  愛媛県立医療技術大学, 保健科学部, 准教授 (30509211)
坂口 菊恵  東京大学, 教養学部, 特任准教授 (40588232)
Project Period (FY) 2018-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2019: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Keywords大学評価 / 妥当性 / 評価指標 / 指標 / 非侵襲的調査 / 評価疲れ / 縦断的調査 / チェックリスト
Outline of Final Research Achievements

In this study, we examined methods to check the validity of indicators set by universities and evaluation organizations, as well as the validity and reliability of evaluation as a whole, including evaluation methods and procedures. We identified indicators by conducting a content analysis of past evaluation reports on topics that have been the focus of attention in recent years, such as "learning outcomes" and "internal quality assurance". We also examined inter-rater reliability when there were multiple raters in research evaluations, and made comparisons among research fields. Furthermore, as a non-invasive research method, we used publicly available data to examine the reduction of burden between evaluator and rater.
These results are meant to serve as basic data for reducing the burden of evaluation in the future.

Academic Significance and Societal Importance of the Research Achievements

学術的意義として、評価の信頼性・妥当性を測定する手法を新たに開発したことが挙げられる。これまでの研究では、心理学的な測定尺度や行政評価におけるチェックリスト等において、信頼性・妥当性の検証は扱われてきたが、大学評価を対象に行われた研究はこれまでにない。
社会的意義は、今後の評価に関する負担軽減へむけた知見を提供したことが挙げられる。得られた知見は、評価機関側では、評価のガイドライン作成等の評価システムの設計、大学側では学内での自己点検評価、中期目標や年度計画策定時に設定する指標の策定に活用可能である。

Report

(5 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • 2018 Research-status Report
  • Research Products

    (26 results)

All 2022 2021 2020 2019 2018

All Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (21 results) (of which Int'l Joint Research: 6 results,  Invited: 5 results) Book (2 results)

  • [Journal Article] Current Passing Rates on National Examinations in Public Health-Related Fields2022

    • Author(s)
      渋井 進、赤川 裕美、土屋 俊
    • Journal Title

      Research on Academic Degrees and University Evaluation

      Volume: 23 Issue: 0 Pages: 19-34

    • DOI

      10.32175/hyokagakui.2022.23001

    • NAID

      130008104085

    • ISSN
      1880-0343, 2434-4427
    • Year and Date
      2022-03-01
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Changes in Universities’ Levels of Awareness Regarding Certified Evaluation and Accreditation: Comparing the First and Second Cycles of Questionnaire Survey Among Universities2021

    • Author(s)
      渋井進、浅井美紀
    • Journal Title

      Research on Academic Degrees and University Evaluation

      Volume: 22 Issue: 0 Pages: 41-59

    • DOI

      10.32175/hyokagakui.2021.22002

    • NAID

      130008002611

    • ISSN
      1880-0343, 2434-4427
    • Year and Date
      2021-03-01
    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Restructuring quality assurance frameworks: A comparative study between NIAD-QE in Japan and HEEACT in Taiwan2018

    • Author(s)
      Ayaka Noda, Angela Yung Chi Hou, Susumu Shibui, Hua-Chi Chou
    • Journal Title

      Higher Education Evaluation and Development

      Volume: 12 Pages: 2-18

    • Related Report
      2018 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 教養教育におけるオンライン授業と対面授業の メリット・デメリットを考える ―測定と評価の視点から―2022

    • Author(s)
      渋井進
    • Organizer
      龍谷大学2021年度教養教育・学部共通コースFD研究開発プロジェクト人文科学系科目部会第3回研究会
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] A longitudinal study on the levels of awareness among universities regarding Certified Evaluation and Accreditation2021

    • Author(s)
      Susumu Shibui
    • Organizer
      INQAAHE Conference 2021
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 学生調査と大学評価2021

    • Author(s)
      渋井進
    • Organizer
      令和3年度第1回日本大学FDシンポジウム 「学生調査に学ぶ教学IRと本学の内部質保証体制」
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] コロナ禍での大学におけるヘルスケア-学生・教職員等へのメッセージの分析を通して-2021

    • Author(s)
      渋井進, 赤川裕美
    • Organizer
      日本行動計量学会第49回大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 新型コロナウイルス感染症に対応した大学の遠隔授業の導入状況 -非侵襲的調査手法を用いて2021

    • Author(s)
      渋井進, 赤川裕美
    • Organizer
      日本心理学会第85回大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 非侵襲的調査による大学評価の可能性-評価疲れの克服へ向けて-2021

    • Author(s)
      渋井進
    • Organizer
      文教大学経営学部シンポジウム: 入試を取り巻く今後:入試制度・大学評価・大学経営・高大接続
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 新型コロナウイルス感染症に対する学長のメッセージの分析~ 学長のリーダーシップと危機管理の視点から~2021

    • Author(s)
      渋井進, 赤川裕美
    • Organizer
      電子情報通信学会ヒューマンコミュニケーション基礎研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 大学評価における遠隔会議利用へ向けて-現状と課題-2020

    • Author(s)
      渋井進, 浅井美紀
    • Organizer
      25回日本顔学会大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 大学評価に対する大学の意識の変化2020

    • Author(s)
      渋井進
    • Organizer
      日本心理学会第84回大会
    • Related Report
      2020 Research-status Report
  • [Presentation] Some evaluations of intuitive scoring in interview selections: Students’ academic achievement in a statistical course2019

    • Author(s)
      Kazumasa Mori, Tomoko Oe, Susumu Shibui
    • Organizer
      5th International Conference on Education, Learning and Training
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 評価するということ、その原点に立ち戻り考える2019

    • Author(s)
      渋井進
    • Organizer
      高等教育質保証学会第9回大会
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] 現況分析に向けて: 国立大学法人教育研究評価における教育及び研究の現況に関する評価の枠組み2019

    • Author(s)
      渋井進
    • Organizer
      学部・研究科における教育状況の評価に関する学内説明会(鹿児島大学)
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] 大学における内部質保証と学習成果ー機関別認証評価の視点からー2019

    • Author(s)
      野田文香, 金性希, 齋藤崇徳, 渋井進
    • Organizer
      大学教育学会第41回大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 大学における内部質保証と学習成果ー全学と部局の関係性と課題を中心にー2019

    • Author(s)
      金性希, 野田文香, 渋井進, 齋藤崇徳
    • Organizer
      大学教育学会第41回大会
    • Related Report
      2019 Research-status Report
  • [Presentation] Assessment of Learning Outcomes and Internal Quality Assurance Building in Higher Education in Japan and Taiwan: The Role of External Quality Assurance Agencies and Universities2019

    • Author(s)
      Kim, S.,& Shibui, S.
    • Organizer
      INQAAHE 15th Biennial Conference 2019
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] University Accreditation and Student Learning Outcomes2019

    • Author(s)
      Noda, A., Saito, T., Kim, S.,& Shibui, S.
    • Organizer
      The Asian Conference on Education and International Development 2019
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] Visualization of indicators to enhance the internal quality assurance system in Japanese universities2018

    • Author(s)
      Shibui, S.
    • Organizer
      The International Conference on Research in Education, Teaching and Learning
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] テレビ会議を通した面談におけるコミュニケーション-国立大学法人等の教育研究の状況の評価におけるヒアリング調査を通して2018

    • Author(s)
      渋井 進
    • Organizer
      日本心理学会第82回大会
    • Related Report
      2018 Research-status Report
  • [Presentation] 大学評価の面談におけるテレビ会議の活用と効果2018

    • Author(s)
      渋井 進
    • Organizer
      第23回日本顔学会大会
    • Related Report
      2018 Research-status Report
  • [Presentation] Investigation of video-conference communication in an evaluation interview2018

    • Author(s)
      Shibui, S.
    • Organizer
      41st European Conference on Visual Perception
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] 国立大学法人の第二期中期目標期間評価の検証2018

    • Author(s)
      林隆之, 渋井進, 蝶慎一, 土屋俊
    • Organizer
      日本高等教育学会第21回大会
    • Related Report
      2018 Research-status Report
  • [Book] 「第三部 社会に開かれた外部質保証、第1章機関別認証評価の展開と課題」, 『内部質保証と外部質保証 -社会に開かれた大学教育を目指して- 』2020

    • Author(s)
      渋井進, 山本泰
    • Publisher
      ぎょうせい
    • Related Report
      2019 Research-status Report
  • [Book] 「第三部 高等教育の流動性が抱える課題 第1章ディグリーミル・アクレディテーション・ミル」, 『高等教育機関の矜持と質保証‐多様性の中での倫理と学術的誠実性‐』2019

    • Author(s)
      渋井進
    • Publisher
      ぎょうせい
    • Related Report
      2019 Research-status Report

URL: 

Published: 2018-04-23   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi