2023 Fiscal Year Research-status Report
学習者個別の特性と学習状況から学習支援を個別最適化する対話エージェントの開発
| Project/Area Number |
22K12325
|
|---|
| Research Institution | Aichi Sangyo University |
|---|
Principal Investigator |
廣瀬 伸行 愛知産業大学, 造形学部, 講師 (00369604)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
奥原 俊 三重大学, 工学研究科, 講師 (10754468)
高木 正則 電気通信大学, eラーニングセンター, 准教授 (80460088)
白松 俊 名古屋工業大学, 工学(系)研究科(研究院), 教授 (80548595)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 学習支援システム / アドバイス自動生成 / 大規模言語モデル |
|---|
| Outline of Annual Research Achievements |
学習者が個別の学習計画と振り返りに対するアドバイスの自動生成について、OpenAI の大規模言語モデルGPT-3およびGPT-4を用いた学習支援システムを検証した。
はじめに、ルーブリックと教員の作文によるトレーニングデータを用いてGPT-3を再学習する方法を検証した。実験では、自動生成アドバイス、定型文アドバイス、教員人手アドバイスの3つを用いて内容の比較分析を行った。自動生成アドバイスは、学習者の記述内容とROUGE-1 0.405、コサイン類似度0.906、定型文とコサイン類似度0.872という結果が得られた（コサイン類似度はGPT-3のEmbedding）。実験結果は全体的には手動作文と近似していたものの、学習者の記述内容が十分にない場合では定型文に近いアドバイスが生成されていた傾向が示された。そのため、記述内容が十分な学習者に対して教員作文に近いアドバイスができていた可能性があった一方で、十分に書けない学習者の支援としては課題が残った。
そこで、次に学習計画と振り返りを十分に書けない学習者に対して、個別具体的なアドバイスを生成するためにGPT-4のゼロショット学習を用いた手法について検証を行った。仮説よして学習計画と振り返りの記述内容に加え、学習者個別の学習テーマとタスク進捗情報を組み合わせて自動生成したアドバイスは、学習者に適合性、理解性、実行性を感じさせられると定めた。しかし、実験結果は仮説を棄却していた。記述内容と学習テーマとタスク進捗情報の両方を加えるよりも、記述内容と学習テーマのみを与えて生成したほうが学習目標に対するアドバイスの理解性が高く評価されていた。要因として、テーマとタスクに関連した両方のアドバイスが混在したために判読性が低下した可能性について検討中である。また、アドバイスを読んだ学生の改善行動を検証できていないため今後の課題となっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
学習者個別の学習計画と振り返り内容にある学習者個別の問題点を捉え、改善を促す仕組みの自動化について、大規模言語モデルを用いたアドバイスの自動生成に焦点した。手法の方針が定まり、かつ、実験によって新しい問題や課題が明らかになりつつある。学習者の記述内容に基づいてアドバイスを生成した場合に、学習者の記述内容が十分にない場合は、学習者個別の具体的なアドバイスを生成できていない傾向があることが示唆された。そこで、学習者の記述内容が十分にない場合でも、学習者個別の具体的なアドバイスが生成できるよう、アドバイス生成時に与える情報を増やした。実験結果は仮説に反して学習者による評価は高まらなかった。分析結果の精査を進め、アドバイスの判読性を改善する新しい仮説を探索している。また、並行して、学習者の学習特徴を捉える大規模言語モデルを用いた自動対話ボットの開発を進めている。
なお、実験に必要なアドバイス文章の試作については、様々な学生個別の学習情報や条件の組み合わせを試みながら効率よく行うことができている。そのためにOpenAIの大規模言語モデルを使用している。
|
| Strategy for Future Research Activity |
今後は、学習者個別の特性を捉え、学習者が学習計画と振り返りの事前アプローチに焦点する。
具体的には、大規模言語モデルを用いた自動対話（自動ヒアリング）を使用して、自動的に学習個別の特性や状況を把握する自動対話手法と、把握した個別の特徴を用いて、学習計画と振り返りの事前に自動対話の自動支援手法の実現を目指す。
学生の個性を把握する、学生計画と振り返りを支援の2つを目的とする大規模言語モデルを用いた自動対話を検証する。そのために、次のことを行う。適切な大規模言語モデルに与える情報を含む入力プロンプトを検討する。自動対話機構の開発と実装を行う。学習者の学習の特徴は把握の適正と、学習計画、振り返りの内容の評価を行う実験を実施する。分析を行い効果を検証する。検証結果をまとめ研究成果を公表する。
|
| Causes of Carryover |
大規模言語モデルをクラウドサービスで利用することで研究を進めることができている。さらに、試作段階では比較的低額なモデル、必要に応じて最新モデルを用いるなど、効率よく使い分けることができているため支出が抑えられている。また、学習モデルのトレーニングに費用が掛かるファインチューニングを用いた手法から、ファインチューニングを行わないゼロショット学習を用いた手法にシフトしたことでも支出が抑えられている。
2024年度では、学習者個別に自動対話の実験を行うための費用が必要になる。2023年度に抑えられた費用を実験に必要となるモデル利用料に充てる計画である。
|
