機械学習によるテキストデータの分析に基づく新たなFD・IRモデルの開発
| Project/Area Number |
20H01714
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
松河 秀哉 東北大学, 高度教養教育・学生支援機構, 講師 (50379111)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川面 きよ 成城大学, 付置研究所, 研究員 (20782064)
村上 正行 大阪大学, 全学教育推進機構, 教授 (30351258)
渡辺 雄貴 東京理科大学, 教育支援機構, 教授 (50570090)
江本 理恵 北海道大学, 高等教育推進機構, 教授 (60400181)
串本 剛 東北大学, 高度教養教育・学生支援機構, 准教授 (60457835)
根岸 千悠 京都外国語大学, 共通教育機構, 講師 (60726610)
大山 牧子 神戸大学, 大学教育研究センター, 准教授 (70748730)
冨永 陽子 岩手大学, 研究支援・産学連携センター, 客員准教授 (70775361)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2023: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2022: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2021: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2020: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
|
|---|
| Keywords | 機械学習 / 授業評価アンケート / 自由記述 / FD / IR / ネガポジ判定 / 他の教育調査への応用 / fastText / 分析の高速化 / トピックモデル / 新型コロナ対応 / オンライン授業 |
|---|
| Outline of Research at the Start |
本研究は、全国的に分析や活用が進んでいない授業評価アンケートの自由記述に関して、機械学習の技術を用いて、自由記述の自動分類とフィードバックを行うシステムを開発するとともに、自動分類した結果を用いた、FacultyDevelopment(FD)やInstitutional Research(IR)等の活動を通して、エビデンスに基づいた新たなFD・IRのモデルを開発することを目指したものである。
|
| Outline of Annual Research Achievements |
本年度は、まず、これまで開発してきた授業評価アンケートのネガポジ判定のモデルが、どの程度その他の教育調査の自由記述のネガポジ判定に活用できるかについて検討した。授業評価アンケートは様々な教育活動上の観点を含んでいるため、授業が「よかったか」それとも「改善すべきか」を判定するためのモデルは、例えば、同様に様々な教育活動上の観点が回答される卒業生調査などの自由記述のネガポジ判定に活用できる可能性がある。実際の「卒業・修了生調査」の自由記述について、モデルによる判定の結果と人手による判定の結果を比較したところ、正解率84.6%、適合率(Precision)79.5%、再現率(Recall)85.3%と、ある程度高い値を示したことから、授業評価アンケートのネガポジ判定をその他の教育調査の自由記述の分析に応用できる可能性が示され、より広範囲なIRやFDの活動での活用を視野に入れることができた。
本年度は次に、fastTextを用いた自由記述の自動分類の高速化に取り組んだ。従来のトピックモデルを用いた自由記述の自動分類は、分類する自由記述の件数が少ない場合でも、一定の分析時間がかかる特徴があり、今後分析件数が増えた場合にボトルネックとなる可能性を孕んでいた。また、結果を得るのに一定の時間がかかることが、気軽な分析を阻む心理的ハードルにもなり得ると思われた。そのため、分析速度向上を目的として、fastTextを用いた分析をシステムに組み込むことにした。fastTextは教師あり学習であるため、fastTextを用いて自由記述の分析を行うには、自由記述のカテゴリに関する大量の正解データが必要となる。本研究では、従来のトピックモデルによる分類で得られたトピックのラベルを正解データとして、fastTextに与えることで、最終的に一定の精度を保ったまま、分析を大幅に高速化することが可能となった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、事業評価アンケートの自由記述のネガポジ判定を行うために開発したモデルを、「卒業・修了生調査」の自由記述の分類に適用し、ある程度の精度で正しく分類できることを確認することができた。このことは、本研究で開発してきた技術が、授業評価アンケートの自由記述を越えて、より広範な教育データにおける自由記述の分析に適用できるものである可能性を示しており、その点においては、当初の予定以上の成果に繋がる可能性を確認できたといえる。
fastTextを用いた自由記述の分析の高速化については、本年度の研究によって、実用化のめどが立ったため、この機能をこれまで開発したシステムに組み込むことに着手している。本来この機能は、仕様を策定して外注する予定であったが、本年度の研究をとおして技術的な目途が立ったため、研究代表者自身が、これまで開発してきたプロトタイプに機能の実装を進めている。従って、この点においても、研究はおおむね順調に進展しているといえる。
最後に本研究では、本年度は、これまで開発してきたシステムによる自由記述の分析に基づいた、FDやIRの実践について、研究会やシンポジウムを開催する予定であった。しかし、依然として新型コロナウイルスの影響等もあり、それらを開催することができなかった。この点に関しては、当初の予定より遅れているといえる。
以上の事から、一部当初の予定より遅れている観点もあるものの、当初の予定より進んでいる観点や、当初の予定通りの観点もあることから、全体としてはおおむね順調に進展しているといえると思われる。
|
| Strategy for Future Research Activity |
研究内容のうち、システム開発に関わる部分は、ほぼ順調に進展し、想定していた開発はほぼ終えた状況である。従って今後は、開発したシステムの精度や使いやすさについて評価を行い、その結果を論文にまとめる予定である。
各大学におけるFD・IRの実践に関しては、開発したシステムを学内でのデータ分析業務に活用してもらいながら、分析事例を蓄積する。その上で、オンライン等の開催形態も検討しながら、可能な限り、研究会・シンポジウムを開催し、本研究チームによる分析・実践成果を外部と共有できるように努める。
|
Report
(3 results)
Research Products
(8 results)
