2023 Fiscal Year Research-status Report
プログラム作成・修正過程の分散表現開発と学習支援発話の生成
| Project/Area Number |
20K12101
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
竹内 和広 大阪電気通信大学, 情報通信工学部, 教授 (20440951)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 学習支援システム / ソフトウェア工学 / プログラム解析 |
|---|
| Outline of Annual Research Achievements |
2023年度は、これまでの研究開発の成果に基づいて、プログラム作成・修正過程の表現モデルおよび解析技術の開発・改良と、学習支援発話の生成に関わる研究開発およびプログラム学習支援システムの実装・改善を行った。
プログラム作成・修正過程の解析に関しては、大規模言語モデルの発展はプログラミング言語に対しても進展しており、数多くのプログラミング言語の大規模言語モデルが公開されるようになった。そのような背景に即して、今まで研究・開発してきた拡張AST(Abstract Syntax Tree)の解析を、一般に公開されている大規模言語モデルを活用して、解析できるように拡張した。具体的には、作成・修正途中のプログラムが直接的にはASTに解析できない状態にある場合の編集意図を推定するためのプログラム解析を、過年度までの独自のデータを使った実装から、一般的なプログラム言語大規模言語モデルを使って動作する形に改善した。そのことにより、C言語だけではなく、他のプログラミング言語にも統一的に拡張可能な枠組みにすることができた。
他方、支援発話の生成に関しては、過年度において、プログラムの教科書を題材に、自然言語で記述されている教示概念を計算機でも扱えるようにフレーム知識に整理した。そして、学習者が理解できていない部分に対して、整理した概念に基づいて質疑・応答形式の発話支援発話をするためのテキストデータ蓄積をしてきた。それを踏まえて、学習者がプログラム課題において行き詰ってしまったときに、適切にアドバイスを提供する学習支援システムを実装し、実際にプログラム学習者に試用して意見聴取をする等の学習支援発話の改善を実施した。また、以上の活動で得た知見については、学会等の研究集会において発表を行い、関連研究者と情報交換を積極的に行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究開始当初から新型コロナウィルス感染症蔓延防止の観点から、研究実施の方法を当初計画から変更して、研究を実施してきた。そのため、当初計画では2022年度で終了予定であった研究計画を、2023年度に最初の期間延長を行った。
具体的には、当初研究計画時に想定していた授業での試作システムの運用ができず、かつ、状況の継続期間が不透明であったため、研究に必要な知識・状態を可視化して評価できるように、システム試作よりも先行して教示概念知識とそれに対応する発話群の作成を整備するという大きな計画変更を行った。
この研究計画の変更は、結果的には、近年の大規規模言語モデルの発展に幸いにも整合する形となり、当初計画の策定時には想定していなかった、高性能な公開大規模言語モデルを試作システム構築に導入や活用することができるようになり、様々な面でシステムの性能を高めることにも繋がった。
2023年度の延長により、当初計画では研究の当初に試作する予定であったプログラム学習支援システムの実装を実施することができ、左記システムを実際に学習者に使ってもらって、システム改善をすることができた。しかし、システムの運用はやむを得ない計画変更の影響による遅れを取り戻しているとはいえず、システムの改善余地はまだ残っていると考えているため、2024年度も研究期間の延長を申請した。
以上のように、当初計画の研究目的については、おかれた年度毎の状況変化に適切に対応しつつ、また、研究分野における技術発展に即した形で適切に進められていると考えているが、現在までの進捗状況は当初計画に鑑みて「やや遅れている」と判断した。
|
| Strategy for Future Research Activity |
研究初年度に起こった新型コロナウィルス感染症流行の影響により、当初計画を変更して研究を実施してきた。そのことにより、プログラム学習支援システムの実装と試用に先行して、不完全プログラムの問題点判定や、その判定に基づいて学習者に提供すべきアドバイスを教示概念知識の整備に基づいて作成することを先行して研究・開発することができた。また、当初計画の変更により、急激に進んだ大規規模言語モデルの発展に整合する形でプログラム学習支援システムの開発を開始することができ、一般的な大規模言語モデルをシステム中に導入・活用することができた。
他方、当初計画では、試作システムを段階的に改善しながら研究を進める予定であったが、以上のような計画変更により、学習者によるシステムの使用実績が限定的になってしまっていると考えており、2024年度はより広いシステム運用に基づいた、システムの修正・拡張を中心とした研究を進める予定である。
特に、プログラム学習支援システムが、教示概念の知識を整備した教育プログラムに強く相関していることが課題として残っており、より広く・多様なプログラム学習の段階に対応できるようにしていきたい。具体的には、プログラム学習におけるつまずきの判定を、現在は、教育プログラムの進行に強く依拠したモデルになっており、より多様なユーザのプログラム習得モデルに対応できるように拡張していく予定である。
そのようなモデルの整備には、まず、教示概念知識を整備した教育プログラムをより一般化してとらえなおし、より柔軟に教示概念知識を再構成するように研究開発を進めていく予定である。また、学習者ごとの進行状況や理解度を個別に評価するために、学習者の理解度やスキルレベルを対話的に診断する精度も向上させる必要がある。そのためには、ユーザの使用調査を継続的に実施し、よりシステムの有用性を改善させていく予定である。
|
| Causes of Carryover |
研究初年度の2020年度から2022年度に至るまで、新型コロナウィルス感染症の蔓延防止の観点から、試作システムを漸進的に向上させていく当初の研究計画の実施が難しくなり、また、国内外学会における情報収集・交換の機会も減少した。そのため、当初計画からの研究計画変更を余儀なくされ、旅費や人件費・謝金が当初計画の通りには予算進行できなかった。
2023年度は研究期間を延長することにより、当該研究に関する成果報告や情報交流を実施することができ、またプログラム学習支援システムの実装に関係するデータ作成も進めることができた。しかし、計画変更に伴ったプログラム学習支援システムの実装と運用の遅れから、使用実績データが充分に蓄積できているとは考えていない。そのため、システム性能と柔軟性のさらなる向上を目指し、再度、2024年度も研究期間延長を希望したことに合わせて、2024年度の予算使用を計画した。ついては、2024年度も、システムの運用と関連する研究者との情報交換を継続させ、適切に予算執行を実施していく計画である。
|
