2015 Fiscal Year Research-status Report
指標・エビデンスの可視化による教育評価支援システム
| Project/Area Number |
15K01030
|
|---|
| Research Institution | National Institution for Academic Degrees and University Evaluation |
|---|
Principal Investigator |
渋井 進 独立行政法人大学評価・学位授与機構, 研究開発部, 准教授 (60415924)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
野田 文香 独立行政法人大学評価・学位授与機構, 研究開発部, 准教授 (20513104)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 大学評価 / 指標 / 内容分析 / テキストマイニング |
|---|
| Outline of Annual Research Achievements |
これまでの大学評価指標や、教育評価に関し、特に現在重要とされているトピックについて、国内外の評価機関や大学等のWEBページ、関連学会、論文・図書等で情報収集を行うことで、文献調査による事前知識の充実を図った。特にInstitutional Researchに関する世界最大の組織であるAssociation for Institutional Researchの年次大会に参加し、評価指標に関する収集状況について調査を行った。同時に、内容分析やテキストマイニングに関するツールの適用を視野に置き、技術的な側面についての情報収集も行った。
事前調査を踏まえ、分析の対象とすべき自己評価書および、評価結果報告書の基準・観点について、代表的な認証評価機関である大学評価・学位授与機構の大学評価基準の特に教育評価に関連する基準（５－３－３：成績評価等の客観性、厳格性、５－４－３：単位の実質化への配慮、８－１－１：内部質保証システム、９－３－３：評価結果がフィードバック、改善のための取組）を選定した。
選定された基準・観点に関連し、2005年度から2014年度までの10年間の評価書のテキストデータを対象に分析を行った。分析にあたっては、あらかじめ定められた用語はなく、分類すべき明確な定義がある訳でもないので、まず関連する用語の名詞を中心に幅広く抽出し、そこから定型化を図り、文献調査の結果も利用して内容分析を行った。集計結果は、指標の出現頻度を示す棒グラフや、評価受審年度別、国公私立別、学士・専門職学位・大学院課程別と指標のクロス表をもとに、コレスポンデンス分析を用いて可視化を行い、指標の出現傾向を明らかにした。
これらの研究成果は、情報、教育心理に関係する国内外の学会で発表を行った。また、評価に関連する学会誌に投稿し、査読を経て掲載された。これらから、本研究の学術的な意義が示されている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実施計画に従い、予定していた国内外の評価機関や大学等のWEBページ、関連学会、論文・図書等での情報収集を行い、分析対象を選定し、内容分析の試行を行った。これらの成果は学術論文１報および、査読付き国際会議を含む学会発表４件として公表したことから、一定の成果を得られていると判断できる。
|
| Strategy for Future Research Activity |
今後は、分析対象の拡大を行う。そのため、まず分析データの収集を行う。前年度に選定した基準・観点に関し、大学評価・学位授与機構以外の評価機関（大学基準協会、日本高等教育評価機構）も含めて、自己評価書、評価結果報告書のテキストを、これまで認証評価を受けた全国の大学のデータを対象として分析する。まずは評価機関に公開されているpdf化された評価書のデータをテキストデータとしてWEBサイトから収集して整理する。
次に、収集されたデータを対象として、テキストマイニング手法により内容分析を行う。その際の指標等として抽出するように指定する記録単位と、それに付随する単語に関して辞書として設定する内容は、前年度の試行的分析の結果を利用する。共起語分析も行い、複数の指標等が同時に記述されている場合の影響についても分析を行う。分析結果は、初年度と同様に大学の種別等と指標の区分のクロス表を用いて、同様のグラフ化等で可視化を行う。
さらに、翌年度には、それらのデータを用いた評価支援WEBサイトの試作および、評価担当者への評価実験と改善を図る予定である。
|
| Causes of Carryover |
当初購入を予定していたデータ分析用のPCについて、現有設備を使うことで、経費の節約を図った。また、分析用のソフトウェアもフリーウェアを用いた。旅費に関しても航空券で早期購入の割引運賃を用いることで、当初予定していた割引運賃より、さらに格安に購入が可能となり、経費の節約が図られた。また、研究代表者が研究分担者の所属機関へと異動となり、研究打ち合わせ旅費の節約が図られた。
|
| Expenditure Plan for Carryover Budget |
設備備品費として、研究成果発表および、分析データを持参して研究分担者および研究協力者と結果の解釈等を行うためのノートパソコンが必要となる。消耗品費として、論文作成のための参考とする書籍費、データ管理ソフト等が必要となる。旅費として、国内外の研究動向の把握及び研究成果の公表としての学会発表のための費用が必要となる。謝金として、評価報告書のインターネット上からの収集およびテキストデータとしての整理にかかるデータ解析補助のための費用が必要となる。その他、成果を公表するための費用として、英文校閲、論文掲載、報告書作成に係る費用が必要となる。
|
