2018 Fiscal Year Research-status Report
自由記述の自動分類に基づいた授業評価の分析と大学における教育改善への包括的活用
| Project/Area Number |
17K18607
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
松河 秀哉 東北大学, 高度教養教育・学生支援機構, 講師 (50379111)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
杉本 和弘 東北大学, 高度教養教育・学生支援機構, 教授 (30397921)
串本 剛 東北大学, 高度教養教育・学生支援機構, 准教授 (60457835)
川面 きよ 東北大学, 高度教養教育・学生支援機構, 特任講師 (20782064)
大山 牧子 大阪大学, 全学教育推進機構, 助教 (70748730)
根岸 千悠 大阪大学, 全学教育推進機構, 特任助教 (60726610)
|
|---|
| Project Period (FY) |
2017-06-30 – 2020-03-31
|
| Keywords | トピックモデル / 授業評価アンケート / 自由記述 / 分析支援 / ソフトウエア開発 |
|---|
| Outline of Annual Research Achievements |
2018年度は、トピックモデル分析を容易に行えるようにするために開発した、分析支援ソフトウエアに関して、論文を執筆し、採録された。本ソフトエアは、トピックモデル分析や統計分析ソフトウエアに関して、特別の知識を持たない者であっても、トピックモデル分析を可能にするもので、教育分野の専門家が自由記述の分析と活用に専念できるように開発したものである。本ソフトウエアは、64bitのEXCEL VBAで開発されており、一定のフォーマットで分析対象とする文章を用意すれば、事前にインストールしたいくつかのフリーウエアと協調して、自動的に分析が実行される。分析結果についても、EXCLEで分かりやすく提供される。論文執筆と平行して、ソフトウエアのマニュアル類についても整備を行い、2019年度に開催予定の研究会で、本ソフトウエアを公開できるように努めた。研究面ではこのほか、トピックモデルを用いた論文の翻訳をおこない、日本教育工学会の英文誌にtranslationとして投稿して、採録された。
実践面では、開発したソフトウエアを用いて、東北大学と大阪大学の、過去十数年にわたる授業評価アンケートの自由記述データをまとめて分析し、170件程度のトピックを抽出して、トピックに命名する作業を行った。この作業により、2つの大学の自由記述を同じ基準で比較できるようになり、例えば、「ありがとう」のような感謝の言葉は、一方の大学の方が他方より有意に多く発言されているといった知見が得られるようになった。来年度はこのデータを用いて、その他のデータと紐付けたさらなる分析や、データに基づいたFD活動などを行っていく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2018年度は、トピックモデル分析を支援するソフトエアに関して、ショートレター1件を採録に結びつけることができた。また、トピックモデルを用いた分析に関して、翻訳論文も投稿し、採録されている。このため、研究成果の側面からは、実績を上げることができたといえる。
また、実践面でも、開発したソフトウエアを用いて、ある程度順調にデータ分析を行うことができた。
2018年度は本来、トピックモデル分析の結果を他のデータと紐付けた分析を中心に行う予定であったが、論文執筆と分析用ソフトウエアのチューニングに時間を割いたため、分析には若干の遅れも見られる。しかし、分析用ソフトウエアが十分なレベルに達したため、今後は分析の遅れを十分取り戻すことができると考えられる。
これらのことから、研究はおおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
2019年度は、FDやIRの活動を中心に行う。まず大阪大学においては、トピックモデルによる自由記述の自動分類の結果に基づいて、科目群ごとの特徴を洗い出す。具体的には、各科目群の自由記述にどのような話題が多いのか、その話題の中で、授業改善の観点から、取り上げる必要があるものはあるか、あるとすればそれはどのようなものかを同定する。その上で、各科目群の必要性に応じたFDプログラムの開発をおこなう。
東北大学においては、自由記述の分析結果を、それまでに実施した学生調査や教員調査、さらには成績情報などと紐付けた上で、様々な観点から分析を行う。各種調査結果や成績情報については、匿名化等必要な処理を行い、DBにデータを格納して、授業評価アンケートの結果と紐付ける処理を行う。その後DBから必要な情報を抽出することで、自由記述内の話題と、授業評価の数値データの関係や成績との関係、教員の意識との関係、卒業時の意識との関係など、多様な観点から分析を行う予定である。
また、上記の活動に基づいたFDやIRの実践も予定している。
大阪大学においては、前年度に作成したFDプログラムに従って、FDプログラムを実施しその効果を検証する。FDプログラムは協力を得られた科目について、大阪大学の分担者が実施する。FDプログラムの効果検証については、事前事後の質問紙調査や、インタビュー調査等を用いる予定である。東北大学においては、前年度に引き続き、紐付けたデータによる調査を行うと共に、明らかになった分析結果を、ミクロ、ミドル、マクロのレベルに分類して問題点を抽出・整理し、各レベルごとにどのような対応を行いうるかを検討して、改善案を作成する。ただし、上記の実践に関しては、十分な時間を確保できない可能性も考えられる。その際は次年度1年間の研究期間延長を検討する。
|
| Causes of Carryover |
2018度は論文執筆に時間を割いたため、経費の執行を伴う活動を当初の予定と比べるとあまり行うことができなかった。2019年度は、本来2018年度に行う予定であったFD、IRの活動を執り行うとともに、本来2019年度に予定していた活動もこなすことで、経費を予定どおり執行する予定である。ただし、研究の進捗状況、及び、経費の執行状況によっては、1年間研究期間を延長することも検討している。
|
