| Project/Area Number |
24K00445
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
松河 秀哉 東北大学, 高度教養教育・学生支援機構, 講師 (50379111)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川面 きよ 成城大学, 付置研究所, 研究員 (20782064)
村上 正行 大阪大学, 全学教育推進機構, 教授 (30351258)
渡辺 雄貴 東京理科大学, 教育支援機構, 教授 (50570090)
長濱 澄 東北大学, 情報科学研究科, 准教授 (50779270)
江本 理恵 北海道大学, 高等教育推進機構, 教授 (60400181)
串本 剛 東北大学, 高度教養教育・学生支援機構, 准教授 (60457835)
根岸 千悠 京都外国語大学, 共通教育機構, 講師 (60726610)
大山 牧子 神戸大学, 大学教育研究センター, 准教授 (70748730)
新居 佳子 小田原短期大学, 保育学科, 准教授 (90420421)
岩崎 千晶 関西大学, 教育推進部, 教授 (80554138)
|
|---|
| Project Period (FY) |
2024-04-01 – 2028-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,460,000 (Direct Cost: ¥14,200,000、Indirect Cost: ¥4,260,000)
Fiscal Year 2027: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2026: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2025: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
|
|---|
| Keywords | 大規模言語モデル / 教学データ / FD / IR / 学習支援 |
|---|
| Outline of Research at the Start |
本研究は、大規模言語モデル(LLM)を用いて大学に蓄積される教学データを分析し、その結果をFDやIRに活用するものである。まず各大学のデータポリシーの現状調査を実施し、その結果を踏まえて、ローカルLLMを用いたより安全な分析の可能性の検討や、教学データから有用情報を抽出するためのプロンプトの開発を進めることで、どのようなデータポリシーの大学においても、教学データの分析と活用ができる仕組みを整える。その上で、各大学において積み重ねた教学データの分析・活用事例を共有するために研究会等を企画・開催し、大規模言語モデルを活用したエビデンスに基づくFD・IRの活動の推進と普及に努める。
|
| Outline of Annual Research Achievements |
2024年度は、大規模言語モデルを用いて、教員調査等の自由記述からの分類用カテゴリの抽出と、各カテゴリの出現頻度の集計を行い、分類の妥当性について複数名の専門家の評定を用いて検討するなど、大規模言語モデルを活用した教学データの分析を進めた。また、大規模言語モデルを用いたライティングの支援に関連して、OpenAIのChatGPT上で提供されるGPTs(マイGPT)と呼ばれるプラットフォームを活用して、学習者が入力したレポートに対して評価と助言を与える「レポートアドバイザー」と呼ばれるシステムを開発した。レポートアドバイザーは、関西大学によって開発された3種類のレポートタイプ(初年次教育のレポート、論証型レポート、理工系実験レポート)に対応したルーブリックが内蔵されており、入力されたレポートの内容から、適切なルーブリックを自動的に選択するか、ユーザの指示に応じたルーブリックを用いて、レポートの内容を評価し、ルーブリックの規準を満たすためにどのような修正を行えばよいか助言したうえで、学習者からの質問等に継続的に応えることができる。このシステムについては、国際会議(International Symposium on Educational Technology）で発表を行い、Excellent Paper Awardsを受賞している。そのほか、大規模言語モデルを用いて、高校生の探究学習における、問いの探究を支援するプロンプトを開発し、鳥取県の高校で実際に教育活動に使用して、支援の効果の検証等を行った。さらに、大規模言語モデルが教育現場において、学習者の学習を阻害するものであるかのように捉える一部の見方を払拭するために、大規模言語モデルをより有能な他者と位置づけた「自己調整発達」の概念を提案し、学会発表を行うなど、概念の普及に努めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していた大規模言語モデルを用いた教学データの分析は、研究概要に示した通り順調に進展している。計画していた各大学のデータポリシー調査については、研究分担者が所属する学会で同種の調査が計画されており、研究分担者もそのプロジェクトに関係していることから、二重の負担を避け効果的な情報収集を行うため、学会による調査結果を踏まえて新たに計画を立て直すこととした。
またローカルLLMによる教学データの分析検証については、同分野の研究開発の進展が非常に早く、同じリソースでより「賢い」反応を返すことができる強力なモデルが矢継ぎ早に発表される状況にあった。そのため、ある時点での検証結果がすぐに陳腐化する可能性が高く、発展のペースがある程度落ち着くのを見極めてから検証を行うこととした。
なお、実際に検証は行っていないものの、文献などから読み取れるローカルLLMの性能を勘案すると、ローカルLLMによる教学データの分析は内容によっては十分可能な段階に達していると思われる。当初見込んでいた、より安全な教学データの分析基盤としてのローカルLLMの価値は、ますます高まっていると考えられる。
当初の計画にあった2点を先送りした一方で、今年度は大規模言語モデルのより広い教育分野での活用として、ルーブリックを組み合わせたライティング支援に関する研究と、高校生の探究活動の支援の2点に取り組んだ。これらの研究は国際会議でExcellent Paper Awardsを受賞するなど一定の成果をあげている。
したがって、研究全体としてはおおむね順調に進行していると言える。
|
| Strategy for Future Research Activity |
今後は、大規模言語モデルを用いた教学データの分析について、引き続き自由記述の分析を中心にプロンプトの開発を続けるとともに、経年的な調査結果の表やグラフを大規模言語モデルに与えることで、どの程度教学データ分析のレポーティングが可能かについても検証する予定である。その上で、開発したプロンプトを、GPTsなどのプラットフォームに組み込んだり、APIを用いたりすることで、開発者以外のユーザがより簡単にシステムを用いることができる環境を構築する。各大学のデータポリシーの調査については、科研メンバーが関係する学会の主導で行われている同種の調査の進展をみながら、その結果を補えるような調査を計画する。ローカルLLMによる教学データの分析については、第三者による性能評価等も参考にしながら、適宜環境を構築し、教学データの分析における性能を確認する。より広範な教育分野における活用についても、引き続き可能性を探る。これまで順調に推移してきたルーブリックと組み合わせたライティングの支援の枠組みを拡張し、今年度は、保育分野における実習日誌や連絡帳等の文章作成支援についても取り組む。そのほか、最近発展が著しい推論モードを活用した理系分野における学習支援の可能性についても検討する。高校生の探究活動の支援についても継続して実施する予定である。
|
