2022 Fiscal Year Research-status Report
学習者個別の特性と学習状況から学習支援を個別最適化する対話エージェントの開発
| Project/Area Number |
22K12325
|
|---|
| Research Institution | Aichi Sangyo University |
|---|
Principal Investigator |
廣瀬 伸行 愛知産業大学, 造形学部, 講師(移行) (00369604)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
奥原 俊 三重大学, 工学研究科, 講師 (10754468)
高木 正則 電気通信大学, eラーニングセンター, 准教授 (80460088)
白松 俊 名古屋工業大学, 工学(系)研究科(研究院), 教授 (80548595)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 学習支援システム / 記述内容 / 自動評価 |
|---|
| Outline of Annual Research Achievements |
学習者個別の学習計画と振り返り内容について、学習者の問題点を捉え、改善を促す仕組みの自動化によって、学習支援の効率化を目的とする。学習計画と振り返りは、効率的な学習活動に重要なプロセスであるが、内容に問題がある場合は支援が不可欠である。学習計画と振り返りをうまく実施できるよう支援するためには、学習者の計画と振り返り記述内容の状況に基づいて個別に支援することが望ましい。そこで、学習計画と振り返りの記述から自動的に問題を捉え、学習者に振り返りと計画方法の改善を促す仕組みが求められる。
2022年度は、OpenAI の大規模言語モデルGPT-3を用いて自動的に学習計画と振り返りの記述内容を評価する方法について検証を行った。具体的には、学習の目標、焦点、方略、行動計画の各項目について、記述内容の具体度を評価するルーブリックを作成。GPT-3の言語モデルを再学習するために、作成したルーブリックに基づいて教員が人手で評価した結果をトレーニングデータとして用いた。検証の結果、再学習したモデルを用いた自動評価は、教員の手動評価と順位相関係数+0.815を示し、十分に実用に耐える性能と考えられた。
ただし、自動評価と教員の人手による評価との誤差についても確認した。誤差の要因としてはトレーニングデータの標本に含まれない未知の学習者個別の記述、ルーブリックの評価項目ごとの標本数のばらつき、自動評価は一回の記述内容単独で評価していたのに対し、教員は経緯を考慮した評価などの違いが考えられた。誤差が生じることへの今後の課題として、自動評価への過度な依存を避ける方法などを今後の課題とした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度の研究が順調に進展した要因は、大規模言語モデルを用いた生成AIの著しい発展と、これを利用することができる環境が整ってきたことにある。当初、学習者の学習計画と振り返りの記述内容を自動的に評価するために、BERTなどを用いる方法を検討していた。検討の結果、OpenAI の大規模言語モデルGPT-3を用いることにした。なぜなら、GPT-3は大規模なコーパスで事前学習されているため、ドメイン固有ではない予測困難な語彙にも対応でき、さらに意味解釈の性能の良さによって、学生が用いる予測不能な語彙にも対応可能であることに期待したためである。実験による検証結果は研究実績の概要に示した。その他、大規模言語モデルの再学習に必要なデータの事前作業も大幅に短縮できた。回帰問題や分類問題などの区別なくテキスト形式のみでトレーニングデータを準備できるためである。また、ハードウェア環境の構築作業が大幅に短縮できた。APIを介して言語モデルの再学習や利用ができるためである。一方、著作権に関わるデータや個人情報などデータ処理について再確認して利用するなどの入力するデータについての配慮を要した。
|
| Strategy for Future Research Activity |
学習者の記述した学習計画と振り返りについて、ルーブリック評価に基づいて自動的に改善アドバイスを生成して提示する方法を開発する。2022年度の研究実績を得たことで、学習者の記述内容に対してルーブリックに基づいた評価の自動化にめどが立った。今後は、学習者の記述とルーブリック評価に基づいた改善アドバイスの自動化を目的とする。そのために、アドバイスの自動生成と自動的な提示方法について機能を評価する。具体的にはOpenAI の大規模言語モデルGPT-3の再学習、GPT-3.5-turbo、GPT-4などを用いて自動生成したアドバイスと、教員が人手で作文したアドバイスを比較する実験、さらに、学習者が振り返りや計画を記入直後に改善アドバイスを提示するしくみを構築し、実践的な実験によって評価する。GPT-3を再学習したモデルを用いた実験結果については2023年6月に研究発表する予定である。
|
| Causes of Carryover |
OpenAIの大規模言語モデルを用いることにした結果、機械学習用の高性能コンピューター機器購入費用と機械学習用のトレーニングデータのアノテーション作業の委託費用が、OpenAIのGPT-3の補完、再学習、埋め込みの利用費用に抑えられた。さらに、2022年度の実験目的では再学習に用いるトレーニングデータの事前処理が容易であることが判明したためアノテーション作業について外部委託を利用しなかった。
次年度では、OpenAIの大規模言語モデルを用いて行うアドバイス自動生成実験と学習者の記述直後に提示する機能の実装や検証のための費用、本研究の採録が決まった論文掲載費用、今後の実績を研究発表するために必要な費用、研究分担者と分担して行うデータの分析処理や評価に用いる物品、評価方法や考察の根拠となる研究論文、資料等の購入に用いる。OpenAIの大規模言語モデルを用いて行う実験では、使用するデータの規模や条件パターンの種類を増やし、GPT-3よりも高性能（高コスト） なGPT-4や GPT-3.5-turbo を用いた実験に必要なOpenAIの補完生成、再学習、埋め込みの利用費用、生成したアドバイスを学習者に提示する仕組みの構築に必要なWebシステム費用、トレーニングデータの事前データ処理作業の委託費用として、2022年度に購入しなかった高性能コンピューター機器の購入費用などを充てる計画である。
|
