| 研究課題/領域番号 |
24K02920
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60050:ソフトウェア関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
馬 雷 東京大学, 大学院情報理工学系研究科, 准教授 (70842061)
|
|---|
| 研究分担者 |
宮尾 祐介 東京大学, 大学院情報理工学系研究科, 教授 (00343096)
佐藤 周行 国立情報学研究所, 国立情報学研究所・アーキテクチャ科学 研究系・教授, 教授 (20225999)
趙 建軍 九州大学, システム情報科学研究院, 教授 (20299580)
石川 冬樹 国立情報学研究所, アーキテクチャ科学研究系, 准教授 (50455193)
|
|---|
| 研究期間 (年度) |
2024-04-01 – 2027-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
18,330千円 (直接経費: 14,100千円、間接経費: 4,230千円)
2026年度: 5,850千円 (直接経費: 4,500千円、間接経費: 1,350千円)
2025年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
2024年度: 6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)
|
|---|
| キーワード | 品質保証 / LLM / 信頼性 / 分析 / テスト |
|---|
| 研究開始時の研究の概要 |
最近,大規模言語モデル（LLM）は,ソフトウェア工学（SE）や自然言語処理（NLP）などの分野で, 多くの実世界の応用において性能の大幅な向上を達成している. しかし, このようなLLM ソフトウェアの品質や信頼性に関しては, まだ非常に初期の段階にあり, 社会的な懸念や新たな技術的課題が生じている. 特に, 最近産業界でLLMを応用する傾向が増えており, LLM ソフトウェアの品質保証方法についての緊急の必要性がある. 本研究は, LLM ソフトウェアの品質保証技術に関する一連の提案を行い, 早期に基盤を確立することを目的としている.
|
| 研究実績の概要 |
過去1年間で、大規模言語モデル（LLM）の品質保証において大きな進展があった。モデルベースの分析に基づいて、我々の研究は従来の手法を発展させ、包括的な品質保証および実践的応用のための新たな技術を導入したLUNAを開発した。LUNAは、抽象モデル構築の中核を担っている。さらに、PrivAuditorを設計と開発して、LLM適応手法におけるデータ保護の脆弱性を体系的にベンチマークすることで、LLM品質保証におけるプライバシー強化のための重要な知見を提供する。
その他の関連研究も貴重な視点を調査する。頑健性やドメイン汎化に関する初期研究は、モデルの適応性向上のための策略に寄与しており、学習ベースの修復手法はニューラルネットワークのオンラインおよびオフラインでの修正の可能性を示した。LLMのさまざまな分野への応用を推進し、これらモデルの影響力と実用性の拡大に貢献している。これらの取り組みは、次世代のLLM品質保証研究に対して有益である。これらの成果は、信頼できる安全なLLMシステムの継続的な発展に向けた強固な基盤を築いている。
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
まず、我々はLUNAというLLM向けの抽象モデルベース分析フレームワークを構築した。このフレームワークは、厳格な査読を経て、Top Tier Internationalの学術雑誌IEEE Transactions on Software Engineering（Impact Factor 6.5）に採択されている。このフレームワークの成功により、LLMの体系的な分析が可能となり、今後LLM分析の基礎となる。さらに、信頼性の様々な側面を評価する関連研究も行っており、その成果は国際会議で発表された。結論として、本研究プロジェクトは順調に進展している。
|
| 今後の研究の推進方策 |
今後、LLM分析フレームワークをさらに強化し、より広範かつ実践的な応用を支援することを計画している。まず、現行のフレームワークを複数のモデル間の相互作用を含むマルチエージェントLLMシステムへ拡張することを目指す（RO1-2）。次に、LLM修復フレームワークの初期的な探索を開始する（RO3）。最後に、ソフトウェア工学分野で、LLMによる自動コード生成の信頼性を高め、開発者が多様なタスクをより効率的に遂行できるパイプラインを構築する（RO4）。これらの取り組み全体を通じて、様々な信頼性の観点から包括的な評価も実施する。
|
