2020 Fiscal Year Research-status Report
大学評価支援へ向けた評価指標の妥当性チェックリストの開発
| Project/Area Number |
18K02928
|
|---|
| Research Institution | National Institution for Academic Degrees and Quality Enhancement of Higher Education |
|---|
Principal Investigator |
渋井 進 独立行政法人大学改革支援・学位授与機構, 研究開発部, 教授 (60415924)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
橋本 貴充 独立行政法人大学入試センター, 研究開発部, 准教授 (20399489)
仲渡 江美 愛媛県立医療技術大学, 保健科学部, 准教授 (30509211)
坂口 菊恵 東京大学, 教養学部, 特任准教授 (40588232)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 大学評価 / 指標 / 縦断的調査 |
|---|
| Outline of Annual Research Achievements |
4年計画の3年目に入った今年度は、妥当性のチェックリストを改訂するため、過去に実施された評価結果やアンケートのデータをもとに指標とその設定に関する大学現場や評価者の持つ諸問題の分析を行った。具体的には1.国立大学法人等の第2期中期目標期間における教育研究の評価の研究業績説明書、2.大学機関別認証評価における第１巡目と第２巡目の大学へのアンケート調査、3.大学のWEBページからのテキストデータ、をデータとして以下の3つの分析を行った。
1.については、研究評価において１つの業績について複数の評定者が存在する場合の、評定者間信頼性の可視化と定量的な判断指標についての検討を行った。評定者間信頼性については１次の重みづけカッパ係数を算出することで定量的に信頼性を判断する手法を開発した。その一方で複数ある研究分野においては評定者間で相関が見られないものや、負の相関が見られる場合も多くあり、グラフ表現により一致の程度についての可視化をすることで補足する手法も開発した。
2.については、教育評価や大学評価全般において、評価の信頼性・妥当性について影響する要因について14年分の同一大学の回答傾向の違いを見る縦断的調査を行った。結果、大学は評価の有効性と関連し、社会から理解と支持が第１巡目、第２巡目を通して低い状況であると捉えていることがわかった。その他、評価疲れについても経年的に改善されているものの、依然として評価される側には影響を及ぼす要因であることもわかった。
3.については、新型コロナウイルス感染症への大学の対応状況を題材として危機管理の視点から、国立大学86校のホームページから入手可能な学長等のメッセージを抽出して内容分析を行なった。メッセージの発信の主体、メッセージを誰に対して発信したか、メッセージが示す内容とキーワードの分析を行い、具体的な評価基準との対応関係を分析した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
チェックリストの改訂に向けて、研究評価、教育評価、それらを包括する大学評価という幅広い評価における妥当性、信頼性の問題について検討することで、正確な評価へ向けた測定手法についての新たな知見が得られた。これは当初予定していた1.中期目標・計画に対応した指標、2.総合大学教養教育の学習成果に関する指標、3.専門教育（看護）の学習成果に関する指標における妥当性検証の全てに関わってくるものである。
以上の学術的な成果として、論文一報、学会発表３件を公表した。
評価指標の妥当性に関する諸問題を実データを用いて解析することで、最終年度実施予定のワークショップ開催時の題材について優良事例の選定が行われ、学術的な成果も公表したことから、一定の成果を得られていると判断できる。
|
| Strategy for Future Research Activity |
最終年度である令和３年度は、最終的なチェックリストの公表へ向け、指標・エビデンスの評価の事例をもとに精査を引き続き進めるとともに、ワークショップの開催により成果の普及を図る。
新型コロナウイルス感染症の拡大により、少人数の複数の班においてコミュニケーションをとりつつ模造紙やペンを用いて作り上げる集合型ワークショップが難しい可能性もあり、WEB上で代替可能なワークショップ開催の検討や、YouTube等に録画して配信可能な教材の作成も同時に進める予定である。
|
| Causes of Carryover |
新型コロナウイルス感染症の影響により、対面で行う予定の研究打ち合わせはウェブ会議になり、国内外で予定していた研究成果発表はオンラインでの開催となり、予定していた旅費が不要になったため次年度時使用額が生じた。
使用計画は、対面での研究成果発表および研究打ち合わせに次年度使用予定であり、オンラインでのワークショップ開催や配信へ向けた教材開発のためのビデオカメラや照明機材、撮影補助の人件費に使う予定である。
|
