2023 Fiscal Year Research-status Report
Software Analysis by Algorithm x Machine Learning
Project/Area Number |
22K11975
|
Research Institution | Shimane University |
Principal Investigator |
神谷 年洋 島根大学, 学術研究院理工学系, 教授 (70415660)
|
Project Period (FY) |
2022-04-01 – 2026-03-31
|
Keywords | ソフトウェア工学 / 生成AI / ソフトウェア開発 / ソフトウェア保守 / プログラム理解 |
Outline of Annual Research Achievements |
ここ数年、生成AI、特に大規模言語モデル(LLM)が目覚ましい発展を遂げている。その進化はソフトウェア開発や保守の分野にも影響している。ソースコードの生成や翻案(例えばCOBOLからJavaへの書き換え)では大きな生産性の向上をもたらしている。しかしながら、現状のLLMはソフトウェア開発や保守のあらゆる業務に対応できているわけではなく、特に、不具合の特定や設計の変更といった業務においては、その効果は限定的なものである。 本研究提案では、研究提案期間中に発生したこのLLMの急速な発展に対応するべく、提案時点から内容を一部変更し、LLMと従来のソフトウェア工学の手法のアルゴリズムを組み合わせる方法を探っている。特に2023年度は生成AIがソフトウェアプロダクトの品質評価や、ソフトウェアプロダクトの生成をどの程度可能であるか、あるいは、ソースコードの生成に追いて、どのような得手・不得手があるかを調べることを中心として、研究を進めていった。 具体的には、C言語のソースコードを対象とした品質評価のひとつである、MISRAガイドラインへの準拠をLLMにより判定する手法を開発して実験と研究発表を行った。また、大学の授業の課題を題材として、LLMが仕様からソースコードの生成する際の得手・不得手について実験的な評価と研究発表を行った。 これらの実験を通して、LLMのコンテキスト長が、LLMをソフトウェア開発や保守に応用する際の課題の一つであることを突き止めるとともに、そのような制限を回避する技術の一つであるRAG(検索拡張生成)の手法の研究及び開発を行った。 2024年度はこれにかかる成果を発表する予定である。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
生成AIやLLMの発展により、当初の研究計画の大幅な修正が必要になったため、そのための手法の開発に時間を費やしていることが遅延の大きな原因である。ただし、生成AIの「柔軟に様々な問題に対応できるが間違いを含むことがある」解析と、従来のソフトウェア工学の分野の「予めアルゴリズムが定義できている問題にしか対応できないが信頼できる出力を行う」解析を組み合わせるという方針は堅持されており、全体としては進捗している。 2022年度よりは軽減されたが、学科の人員(特に教授職)の逼迫による高負担が続いていることも遅延のひとつの原因である。
|
Strategy for Future Research Activity |
生成AI、特にLLMの大きな制約の一つがコンテキスト長であることが特定できたため、これを補うことができるような手法を探る。 (その成果の一部である、検索拡張生成(RAG)によるソースコードへの問い合わせを行う手法については、2024年5月に研究会発表を行った。)
|
Causes of Carryover |
研究課題全体の進捗の遅れにより、研究発表にかかる経費を計上できなかったため、研究費の一部を次年度に持ち越した。 2023年度の後半からは研究に進捗があったため、2024年度の研究発表に当該費用を利用することとする。
|
Research Products
(4 results)