| 研究課題/領域番号 |
22K18630
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
亀井 靖高 九州大学, システム情報科学研究院, 教授 (10610222)
|
|---|
| 研究期間 (年度) |
2022-06-30 – 2025-03-31
|
| キーワード | プログラミング教育 / 自動デバッグ / デバッグ支援 / バグ埋め込み / コンパイルエラー |
|---|
| 研究実績の概要 |
昨年度から継続して今年度も，学習者の実行ログに対して，深層学習モデルや大規模言語モデルを適用し，コンパイルエラーを自動修正する技術の性能評価を行った．大規模言語モデルの著しい進歩の動向を注視しながら，主に下記の実績が得られた．
１．大規模言語モデルに対する修正性能の調査： 昨年度，初学者支援ツールへのGPT-3.5の適用に向けた初期評価として，九州大学の学生のデータを用いて調査を行った．その結果，GPT-3.5は先行研究である自動プログラム修正技術よりも10%以上高い精度での修正を行うことがわかった．今年度は，さらにその調査を深堀し，GPT3.5を用いてプログラム修正が可能であったもの，修正ができなかったものに対して目視調査を行った．調査の結果，GPT3.5はスコープや未定義変数に関するエラーの修正に苦戦することがわかった．また，GPT3.5は関数名や変数名を修正の内容を決定するために使用している可能性があることがわかった．
２．大規模言語モデルのプロンプトの影響に関する調査：大規模言語モデルの特徴の1つに，入力として与えるプロンプトによって，出力に違いが出ることがある．本調査では，競技プログラミングコンテストのAtCoder Beginner Contestの難易度がA, B, C, Dから合計756問を収集して，GitHub Copilotの性能に影響を与えるプロンプトの項目を調べた．調査の結果，問題文が最も性能に影響を与えることがわかった．また，入力例か入出力の仕様が大きい影響を与えることがわかった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
「プログラミング初学者のつまずきの減らし」のコア部分であるコンパイルエラーの自動修正に対して昨年度に得られた結果を深堀し，修正できるものとできないものの分類を行うことができた．また，その内容を研究会において発表できた．それ以外の内容に関しても国際会議で発表予定であり，研究の進捗として順調に進展していると考える．
|
| 今後の研究の推進方策 |
現在までの進捗状況は，おおむね順調に進展している．ただし，大規模言語モデルの著しい進歩に関する動向を把握し，適宜，研究の推進方策を見直す．また，今年度でも行ったように，今後も国内外の研究会に積極的に参加し（オンライン開催を含む），多面的に意見を取り入れることで問題の早期解決を目指す．デバッグ問題の自動生成のための疑似バグ生成に関しても注力したい．
|
| 次年度使用額が生じた理由 |
2023年3月での国内研究会におけるフィードバックに基づいて，最終年度に向けた実験機器を購入しようと計算機等の購入を先延ばししたため，物品費を一部繰り越しした．また，最終年度では国際会議での発表を目指しているが，社会情勢の変化に伴って，国際会議の出張旅費が予想以上に高くなってきていることから旅費のために温存した．次年度は，国内外の打ち合わせ，及び，成果発表，また，計算機の購入に用いる予定である．
|
