| 研究課題/領域番号 |
22K12325
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62030:学習支援システム関連
|
|---|
| 研究機関 | 愛知産業大学 |
|---|
研究代表者 |
廣瀬 伸行 愛知産業大学, 造形学部, 講師(移行) (00369604)
|
|---|
| 研究分担者 |
奥原 俊 三重大学, 工学研究科, 講師 (10754468)
高木 正則 電気通信大学, eラーニングセンター, 准教授 (80460088)
白松 俊 名古屋工業大学, 工学(系)研究科(研究院), 教授 (80548595)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
|
|---|
| キーワード | 学習支援システム / 記述内容 / 自動評価 |
|---|
| 研究開始時の研究の概要 |
オンライン教育における学習者の学習計画と振り返り活動は、学習者の効率的な学習活動に重要なプロセスであるが、内容に問題がある場合は支援が不可欠である。しかし、学習者数が多いと教員が学習者個別の学習状況の問題や特性を踏まえて継続的に指導してくことが困難である。そこで、学習者個別の学習計画と振り返り活動から対話エージェントが自動的に問題を捉え、学習者に学習活動の改善を促す仕組みの実現を目的とする。そのために、教員が行う学習支援の調査とデータ分析から、機械学習データを採取して対話エージェントと学習支援システムを開発し、実験によって教員の学習支援との比較から効果を明らかにする。
|
| 研究実績の概要 |
学習者個別の学習計画と振り返り内容について、学習者の問題点を捉え、改善を促す仕組みの自動化によって、学習支援の効率化を目的とする。学習計画と振り返りは、効率的な学習活動に重要なプロセスであるが、内容に問題がある場合は支援が不可欠である。学習計画と振り返りをうまく実施できるよう支援するためには、学習者の計画と振り返り記述内容の状況に基づいて個別に支援することが望ましい。そこで、学習計画と振り返りの記述から自動的に問題を捉え、学習者に振り返りと計画方法の改善を促す仕組みが求められる。
2022年度は、OpenAI の大規模言語モデルGPT-3を用いて自動的に学習計画と振り返りの記述内容を評価する方法について検証を行った。具体的には、学習の目標、焦点、方略、行動計画の各項目について、記述内容の具体度を評価するルーブリックを作成。GPT-3の言語モデルを再学習するために、作成したルーブリックに基づいて教員が人手で評価した結果をトレーニングデータとして用いた。検証の結果、再学習したモデルを用いた自動評価は、教員の手動評価と順位相関係数+0.815を示し、十分に実用に耐える性能と考えられた。
ただし、自動評価と教員の人手による評価との誤差についても確認した。誤差の要因としてはトレーニングデータの標本に含まれない未知の学習者個別の記述、ルーブリックの評価項目ごとの標本数のばらつき、自動評価は一回の記述内容単独で評価していたのに対し、教員は経緯を考慮した評価などの違いが考えられた。誤差が生じることへの今後の課題として、自動評価への過度な依存を避ける方法などを今後の課題とした。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
今年度の研究が順調に進展した要因は、大規模言語モデルを用いた生成AIの著しい発展と、これを利用することができる環境が整ってきたことにある。当初、学習者の学習計画と振り返りの記述内容を自動的に評価するために、BERTなどを用いる方法を検討していた。検討の結果、OpenAI の大規模言語モデルGPT-3を用いることにした。なぜなら、GPT-3は大規模なコーパスで事前学習されているため、ドメイン固有ではない予測困難な語彙にも対応でき、さらに意味解釈の性能の良さによって、学生が用いる予測不能な語彙にも対応可能であることに期待したためである。実験による検証結果は研究実績の概要に示した。その他、大規模言語モデルの再学習に必要なデータの事前作業も大幅に短縮できた。回帰問題や分類問題などの区別なくテキスト形式のみでトレーニングデータを準備できるためである。また、ハードウェア環境の構築作業が大幅に短縮できた。APIを介して言語モデルの再学習や利用ができるためである。一方、著作権に関わるデータや個人情報などデータ処理について再確認して利用するなどの入力するデータについての配慮を要した。
|
| 今後の研究の推進方策 |
学習者の記述した学習計画と振り返りについて、ルーブリック評価に基づいて自動的に改善アドバイスを生成して提示する方法を開発する。2022年度の研究実績を得たことで、学習者の記述内容に対してルーブリックに基づいた評価の自動化にめどが立った。今後は、学習者の記述とルーブリック評価に基づいた改善アドバイスの自動化を目的とする。そのために、アドバイスの自動生成と自動的な提示方法について機能を評価する。具体的にはOpenAI の大規模言語モデルGPT-3の再学習、GPT-3.5-turbo、GPT-4などを用いて自動生成したアドバイスと、教員が人手で作文したアドバイスを比較する実験、さらに、学習者が振り返りや計画を記入直後に改善アドバイスを提示するしくみを構築し、実践的な実験によって評価する。GPT-3を再学習したモデルを用いた実験結果については2023年6月に研究発表する予定である。
|
