2022 Fiscal Year Research-status Report
ソフトウェアバグ予測を題材とする機械学習システムの評価技術の開発
| Project/Area Number |
20K11749
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
門田 暁人 岡山大学, 自然科学学域, 教授 (80311786)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | ソフトウェアメトリクス / 機械学習 / ソフトウェアバグ予測 / 評価尺度 |
|---|
| Outline of Annual Research Achievements |
機械学習システムを評価するという課題に対し，特にソフトウェアバグ予測を対象とした方法を提案した．従来，バグ予測においてはprecision，recall，F1値などの評価指標が広く用いられてきたが，しかし，これらの尺度はデータセット中のバグあり／なしの個体の比率（neg/pos ratio）に大きく影響されるため，異なるデータセットに対するバグ予測精度を比較する場合に大きな問題となっていた．例えば，予測精度としてprecision = 0.8もしくはF1 = 0.8といった結果が得られたとしても，データセット中のバグあり(pos）の個体の割合が0.8を超えている場合，この予測は精度が高いとはいえない．そこで，本研究ではneg，posの値に基づいて予測精度の期待値およびそのばらつきを算出し，それらに基づいた尺度であるneg/pos-normalized accuracy measuresを提案した．提案尺度により，異なるデータセットに対する予測精度の比較が可能となるとともに，多数の予測結果をランク付けすることが可能となった．
提案尺度の有効性を評価するために，19件のオープンソースソフトウェアプロジェクトのデータセットを用いたケーススタディを行った．その結果，precision < 0.1となるような，従来であれば予測精度が極めて低く，予測に失敗したと判断されていた事例においても，予測が成功であると判断できる場合があることが分かった．また，従来の尺度の中では，MCC (Matthews Correlation Coefficient)は提案尺度と類似する値の傾向を示すため，予測精度を低コストで（confusion matrixのみに基づいて）評価したい場合には，MCCを用いることが望ましいことが分かった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題の２つの問いのうち，１つめの問い「機械学習システムの構築に適した学習データをどうやって見極めればよいのか？」については，本研究課題の成果がIEEE Accessに採録となった．
Maohua Gan, Zeynep Yucel, Akito Monden, Improvement and Evaluation of Data Consistency Metric CIL for Software Engineering Data Sets. IEEE Access 10: 70053-70067 (2022).
また，２つめの問い「機械学習システムをどうやってテスト・評価すればよいのか？」についても，本研究課題の成果がIEEE Accessに採録となった．
Maohua Gan, Zeynep Yucel, Akito Monden, Neg/pos-Normalized Accuracy Measures for Software Defect Prediction. IEEE Access 10: 134580-134591 (2022).
|
| Strategy for Future Research Activity |
機械学習に用いるデータセットの評価のために，本研究課題では，データセットに含まれる矛盾を定量化する方法について検討してきた．ただし，大規模データセットにおいては，矛盾は必ずしも不要なものとは限らず，意味のある「例外」として取り扱うことができる場合もある．そこで，今後の研究の推進方策の一つとして，アソシエーションルール等の技術を用いて例外を使う方法の検討や，実際のデータセットを対象とした実験を行うこととする．
また，機械学習システムの予測精度を評価するという課題に対し，予測後のアクションを考慮し，その費用対効果を考慮した評価手法についても検討する．
|
