| 研究課題/領域番号 |
22K18630
|
|---|
| 研究種目 |
挑戦的研究(萌芽)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分9:教育学およびその関連分野
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
亀井 靖高 九州大学, システム情報科学研究院, 教授 (10610222)
|
|---|
| 研究期間 (年度) |
2022-06-30 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2024年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2023年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
2022年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
|
|---|
| キーワード | プログラミング教育 / 自動デバッグ / デバッグ支援 / バグ埋め込み / コンパイルエラー |
|---|
| 研究開始時の研究の概要 |
本研究の目的は，プログラミング初学者のつまずきを減らし，反復学習を後押しできるプログラミング学習支援をフルオートメーションで実現する技術の創出である．プログラミングは今後，大学教育だけでなく広く社会で学ばれる素養である．本研究では，持続可能な社会の一環である社会に開かれた教育の実現として，誰でもアクセスできるオンライン環境で，いつでもプログラミングを学べる環境の実現を目指す．
|
| 研究実績の概要 |
昨年度から継続して今年度も，学習者の実行ログに対して，深層学習モデルや大規模言語モデルを適用し，コンパイルエラーを自動修正する技術の性能評価を行った．大規模言語モデルの著しい進歩の動向を注視しながら，主に下記の実績が得られた．
１．大規模言語モデルに対する修正性能の調査： 昨年度，初学者支援ツールへのGPT-3.5の適用に向けた初期評価として，九州大学の学生のデータを用いて調査を行った．その結果，GPT-3.5は先行研究である自動プログラム修正技術よりも10%以上高い精度での修正を行うことがわかった．今年度は，さらにその調査を深堀し，GPT3.5を用いてプログラム修正が可能であったもの，修正ができなかったものに対して目視調査を行った．調査の結果，GPT3.5はスコープや未定義変数に関するエラーの修正に苦戦することがわかった．また，GPT3.5は関数名や変数名を修正の内容を決定するために使用している可能性があることがわかった．
２．大規模言語モデルのプロンプトの影響に関する調査：大規模言語モデルの特徴の1つに，入力として与えるプロンプトによって，出力に違いが出ることがある．本調査では，競技プログラミングコンテストのAtCoder Beginner Contestの難易度がA, B, C, Dから合計756問を収集して，GitHub Copilotの性能に影響を与えるプロンプトの項目を調べた．調査の結果，問題文が最も性能に影響を与えることがわかった．また，入力例か入出力の仕様が大きい影響を与えることがわかった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
「プログラミング初学者のつまずきの減らし」のコア部分であるコンパイルエラーの自動修正に対して昨年度に得られた結果を深堀し，修正できるものとできないものの分類を行うことができた．また，その内容を研究会において発表できた．それ以外の内容に関しても国際会議で発表予定であり，研究の進捗として順調に進展していると考える．
|
| 今後の研究の推進方策 |
現在までの進捗状況は，おおむね順調に進展している．ただし，大規模言語モデルの著しい進歩に関する動向を把握し，適宜，研究の推進方策を見直す．また，今年度でも行ったように，今後も国内外の研究会に積極的に参加し（オンライン開催を含む），多面的に意見を取り入れることで問題の早期解決を目指す．デバッグ問題の自動生成のための疑似バグ生成に関しても注力したい．
|
