機械学習によるテキストデータの分析に基づく新たなFD・IRモデルの開発

2023 年度 実績報告書

• 研究課題/領域番号: 20H01714
• 研究機関: 東北大学
• 研究代表者: 松河 秀哉 東北大学, 高度教養教育・学生支援機構, 講師 (50379111)
• 研究分担者: 川面 きよ 成城大学, グローカル研究センター, 研究員 (20782064) ; 村上 正行 大阪大学, 全学教育推進機構, 教授 (30351258) ; 渡辺 雄貴 東京理科大学, 教育支援機構, 教授 (50570090) ; 江本 理恵 北海道大学, 高等教育推進機構, 教授 (60400181) ; 串本 剛 東北大学, 高度教養教育・学生支援機構, 准教授 (60457835) ; 根岸 千悠 京都外国語大学, 共通教育機構, 講師 (60726610) ; 大山 牧子 神戸大学, 大学教育研究センター, 准教授 (70748730) ; 冨永 陽子 岩手大学, 研究支援・産学連携センター, 客員准教授 (70775361)
• 研究期間 (年度): 2020-04-01 – 2024-03-31
• キーワード: 授業評価アンケート / 機械学習 / 自動分類 / webシステム / トピックモデル / ネガポジ判定

研究実績の概要

本年度は、期間を通して進めてきた、機械学習による授業評価アンケートの自由記述の自動分類の手法を統合した、webによる授業評価アンケートの自由記述による分析システムの開発を完了させた。このシステムは、事前に学習させた、複数の機械学習のモデルを内部に備えており、それらを使って、授業評価アンケートの自由記述を、トピックモデルにより160種類のトピックに分類する機能、FastTextにより高速に67種類に分類する機能、FastTextによりネガティブな記述かポジティブな記述かを判別する機能の、3種類の機能を備える。このシステムにwebブラウザを用いてアクセスし、実行したい分析を選んだ上で、Excelファイルに格納された自由記述をアップロードすれば、自動的に分析が実行され、分析結果として、自由記述の種類や、その記述がネガティブかポジティブに関する情報などが付加されたExcelファイルをダウンロードできるようになる。このシステムを用いることで、機械学習に対する知識を持たない利用者であっても、容易に授業評価アンケートの自由記述の自動分類を行うことが可能となった。
本年度はさらに、公益財団法人大学コンソーシアム京都が主催するFDフォーラムにおいて、このシステムを用いたワークショップを開催した。ワークショップでは、参加者がwebシステムにアクセスし、持参した自由記述を実際に分析する活動を行った。参加者からは、分析結果の妥当性や、システムの有用性に言及した感想を得ることができ、本システムが、誰でも容易に自由記述の自動分類を行える機能の提供という目的を実現できていることを確認することができた。
本年度はその他、名古屋大学においてトピックモデルに関する講演を行い、日本教育工学会の春季全国大会において開発したwebシステムに関する自主企画セッションを開催するなど、これまでの研究成果の公開に努めた。

現在までの達成度 (段落)

令和5年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和5年度が最終年度であるため、記入しない。

研究成果

• [学会発表] 大規模言語モデルを活用した自由記述の分類手法の提案 (2024)
  • 著者名/発表者名: 松河 秀哉, 大山 牧子, 根岸 千悠, 村上 正行, 川面 きよ, 渡辺 雄貴, 江本 理恵, 冨永 陽子, 串本 剛
  • 学会等名: 日本教育工学会 2024年春季全国大会
• [学会発表] 機械学習を用いた授業評価アンケートの自由記述の自動分類システムの開発とその活用 (2024)
  • 著者名/発表者名: 松河 秀哉, 根岸 千悠, 村上 正行
  • 学会等名: 日本教育工学会 2024年春季全国大会
• [学会発表] 初年次教育における授業アンケートの自由記述の分析 (2024)
  • 著者名/発表者名: 村上 正行, 岡田 玖美子, 松河 秀哉
  • 学会等名: 日本教育工学会研究会(2024年5月)
• [学会発表] Development of a Formative Assessment System for Reports Using Large Language Models and Rubrics (2024)
  • 著者名/発表者名: Hideya MATSUKAWA, Chiaki IWASAKI
  • 学会等名: ISET2024
  • 国際学会
• [学会発表] 授業評価アンケートの自由記述を自動分類するためのwebシステムの開発 (2023)
  • 著者名/発表者名: 松河 秀哉, 大山 牧子, 根岸 千悠, 村上 正行, 川面 きよ, 渡辺 雄貴, 江本 理恵, 冨永 陽子, 串本 剛
  • 学会等名: 日本教育工学会 2023年秋季全国大会