| Project/Area Number |
22K18630
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
亀井 靖高 九州大学, システム情報科学研究院, 教授 (10610222)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | プログラミング教育 / 自動デバッグ / デバッグ支援 / バグ埋め込み / コンパイルエラー |
|---|
| Outline of Research at the Start |
本研究の目的は，プログラミング初学者のつまずきを減らし，反復学習を後押しできるプログラミング学習支援をフルオートメーションで実現する技術の創出である．プログラミングは今後，大学教育だけでなく広く社会で学ばれる素養である．本研究では，持続可能な社会の一環である社会に開かれた教育の実現として，誰でもアクセスできるオンライン環境で，いつでもプログラミングを学べる環境の実現を目指す．
|
| Outline of Annual Research Achievements |
昨年度から継続して今年度も，学習者の実行ログに対して，深層学習モデルや大規模言語モデルを適用し，コンパイルエラーを自動修正する技術の性能評価を行った．大規模言語モデルの著しい進歩の動向を注視しながら，主に下記の実績が得られた．
１．大規模言語モデルに対する修正性能の調査： 昨年度，初学者支援ツールへのGPT-3.5の適用に向けた初期評価として，九州大学の学生のデータを用いて調査を行った．その結果，GPT-3.5は先行研究である自動プログラム修正技術よりも10%以上高い精度での修正を行うことがわかった．今年度は，さらにその調査を深堀し，GPT3.5を用いてプログラム修正が可能であったもの，修正ができなかったものに対して目視調査を行った．調査の結果，GPT3.5はスコープや未定義変数に関するエラーの修正に苦戦することがわかった．また，GPT3.5は関数名や変数名を修正の内容を決定するために使用している可能性があることがわかった．
２．大規模言語モデルのプロンプトの影響に関する調査：大規模言語モデルの特徴の1つに，入力として与えるプロンプトによって，出力に違いが出ることがある．本調査では，競技プログラミングコンテストのAtCoder Beginner Contestの難易度がA, B, C, Dから合計756問を収集して，GitHub Copilotの性能に影響を与えるプロンプトの項目を調べた．調査の結果，問題文が最も性能に影響を与えることがわかった．また，入力例か入出力の仕様が大きい影響を与えることがわかった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「プログラミング初学者のつまずきの減らし」のコア部分であるコンパイルエラーの自動修正に対して昨年度に得られた結果を深堀し，修正できるものとできないものの分類を行うことができた．また，その内容を研究会において発表できた．それ以外の内容に関しても国際会議で発表予定であり，研究の進捗として順調に進展していると考える．
|
| Strategy for Future Research Activity |
現在までの進捗状況は，おおむね順調に進展している．ただし，大規模言語モデルの著しい進歩に関する動向を把握し，適宜，研究の推進方策を見直す．また，今年度でも行ったように，今後も国内外の研究会に積極的に参加し（オンライン開催を含む），多面的に意見を取り入れることで問題の早期解決を目指す．デバッグ問題の自動生成のための疑似バグ生成に関しても注力したい．
|
