ソフトウェアバグ予測を題材とする機械学習システムの評価技術の開発

2022 年度 実施状況報告書

• 研究課題/領域番号: 20K11749
• 研究機関: 岡山大学
• 研究代表者: 門田 暁人 岡山大学, 自然科学学域, 教授 (80311786)
• 研究期間 (年度): 2020-04-01 – 2024-03-31
• キーワード: ソフトウェアメトリクス / 機械学習 / ソフトウェアバグ予測 / 評価尺度

研究実績の概要

機械学習システムを評価するという課題に対し，特にソフトウェアバグ予測を対象とした方法を提案した．従来，バグ予測においてはprecision，recall，F1値などの評価指標が広く用いられてきたが，しかし，これらの尺度はデータセット中のバグあり／なしの個体の比率（neg/pos ratio）に大きく影響されるため，異なるデータセットに対するバグ予測精度を比較する場合に大きな問題となっていた．例えば，予測精度としてprecision = 0.8もしくはF1 = 0.8といった結果が得られたとしても，データセット中のバグあり(pos）の個体の割合が0.8を超えている場合，この予測は精度が高いとはいえない．そこで，本研究ではneg，posの値に基づいて予測精度の期待値およびそのばらつきを算出し，それらに基づいた尺度であるneg/pos-normalized accuracy measuresを提案した．提案尺度により，異なるデータセットに対する予測精度の比較が可能となるとともに，多数の予測結果をランク付けすることが可能となった．
提案尺度の有効性を評価するために，19件のオープンソースソフトウェアプロジェクトのデータセットを用いたケーススタディを行った．その結果，precision < 0.1となるような，従来であれば予測精度が極めて低く，予測に失敗したと判断されていた事例においても，予測が成功であると判断できる場合があることが分かった．また，従来の尺度の中では，MCC (Matthews Correlation Coefficient)は提案尺度と類似する値の傾向を示すため，予測精度を低コストで（confusion matrixのみに基づいて）評価したい場合には，MCCを用いることが望ましいことが分かった．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究課題の２つの問いのうち，１つめの問い「機械学習システムの構築に適した学習データをどうやって見極めればよいのか？」については，本研究課題の成果がIEEE Accessに採録となった．
Maohua Gan, Zeynep Yucel, Akito Monden, Improvement and Evaluation of Data Consistency Metric CIL for Software Engineering Data Sets. IEEE Access 10: 70053-70067 (2022).
また，２つめの問い「機械学習システムをどうやってテスト・評価すればよいのか？」についても，本研究課題の成果がIEEE Accessに採録となった．
Maohua Gan, Zeynep Yucel, Akito Monden, Neg/pos-Normalized Accuracy Measures for Software Defect Prediction. IEEE Access 10: 134580-134591 (2022).

今後の研究の推進方策

機械学習に用いるデータセットの評価のために，本研究課題では，データセットに含まれる矛盾を定量化する方法について検討してきた．ただし，大規模データセットにおいては，矛盾は必ずしも不要なものとは限らず，意味のある「例外」として取り扱うことができる場合もある．そこで，今後の研究の推進方策の一つとして，アソシエーションルール等の技術を用いて例外を使う方法の検討や，実際のデータセットを対象とした実験を行うこととする．
また，機械学習システムの予測精度を評価するという課題に対し，予測後のアクションを考慮し，その費用対効果を考慮した評価手法についても検討する．

研究成果

• [雑誌論文] Improvement and Evaluation of Data Consistency Metric CIL for Software Engineering Data Sets (2022)
  • 著者名/発表者名: Maohua Gan, Zeynep Yucel, Akito Monden
  • 雑誌名: IEEE Access 巻: 10 ページ: 70053-70067
  • DOI: 10.1109/ACCESS.2022.3188246
  • 査読あり / オープンアクセス
• [雑誌論文] Neg/pos-Normalized Accuracy Measures for Software Defect Prediction (2022)
  • 著者名/発表者名: Maohua Gan, Zeynep Yucel, Akito Monden
  • 雑誌名: IEEE Access 巻: 10 ページ: 134580-134591
  • DOI: 10.1109/ACCESS.2022.3232144
  • 査読あり / オープンアクセス
• [学会発表] A Dynamic Model Selection Approach to Mitigate the Change of Balance Problem in Cross-Version Bug Prediction (2022)
  • 著者名/発表者名: Hiroshi Demanou, Akito Monden, Masateru Tsunoda
  • 学会等名: 10th International Workshop on Quantitative Approaches to Software
  • 国際学会