機械学習に基づくデータ駆動型ソフトウェア信頼性評価手法の開発

Research Project

Project/Area Number	22K14440
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 25010:Social systems engineering-related
Research Institution	Tottori University
Principal Investigator	南野友香鳥取大学, 工学研究科, 准教授 (30778014)
Project Period (FY)	2022-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000) Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000) Fiscal Year 2022: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Keywords	ソフトウェア信頼度成長モデル / 変化点検出 / Change Finder / ソフトウェア信頼性
Outline of Research at the Start	迅速な開発・出荷が求められる現在のソフトウェア開発現場では，開発管理者がフォールト発見難易度などのテスト環境の変化（チェンジポイント）を早急に察知し，適切にテスト要員の投入や調整をする必要がある．しかし，定量的な根拠に基づき，チェンジポイントをリアルタイムで把握することができていない．本研究では，開発管理者の意思決定を支援するため，機械学習の変化点検出エンジンであるChange Finderを用いてチェンジポイントを早期に検出する．本提案手法を工場データやフォールトビッグデータなど様々なデータに適用し，その検出精度と有用性を評価する．
Outline of Annual Research Achievements	ソフトウェアの品質/信頼性を評価するためには，テスト工程でのフォールト（いわゆるバグ）発見事象を数理モデル化したソフトウェア信頼度成長モデルの利用が有効である．従前のソフトウェア信頼度成長モデルは，テスト工程における環境が一定であり，ソフトウェア信頼度成長過程の傾向に変化がないことを前提としている．しかし，実際は，納期とテストの進捗状況に合わせたテスト要員数の増減や，テスト内容の変更などが行われる．このようなテスト環境の変化は，フォールト発見数データに変化点（チェンジポイント）を発生させ，ソフトウェア信頼度成長モデルに基づく信頼性評価の精度に影響を与えるといわれている．これまでに変化点を考慮したモデルが多く提案されたものの，開発管理者が意図的に発生させたテスト環境の変化を取り扱うことが多く，観測データの統計的変化については，その検出手法を含め，研究蓄積が少ない．そこで本研究では，機械学習の変化点検出エンジンであるChange Finderを用いて，フォールト発見数データから変化点を検出した．Change Finder は時系列データから外れ値と変化点を区別したうえで，データの傾向が急激に変化する時刻を検知する異常検知手法の１つである．本研究では，テスト環境の変化点が既知のフォールト発見数データを適用した．Change Finderにより，既知であるテスト環境の変化点が検出された場合は，テスト環境の変化がフォールト発見数データに統計的変化を与えたものと判断する．それ以外の変化点が検出された場合は，何らかの要因によりフォールト発見数データに統計的変化が生じたものと判断する．このような仮定の下，検出結果を変化点モデルに適用し，テスト環境の変化を考慮した場合と適合性比較を行うことで，Change Finderの有効性を確認した．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 2022年度に一定の研究成果が得られたため，ISSAT国際会議，電子情報通信学会での成果報告の準備を行っている．
Strategy for Future Research Activity	提案手法の有効性を示すため，さまざまなプロジェクトで得られたフォールト発見数データに提案手法を適用し，適用例を充実させる．さらに，複数回の変化点発生を想定した検出やその他の異常検知手法の適用を試みる．