Research on improving coverage of machine learning based software testing

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K11979
• Research Institution: Keio University
• Principal Investigator: 高田 眞吾 慶應義塾大学, 理工学部(矢上), 教授 (60273843)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: ソフトウェアテスト / 機械学習 / Android / モバイルアプリケーション

Outline of Annual Research Achievements

本研究では，機械学習を利用したテスト支援環境におけるカバレッジの向上を目的としている．
2022年度はまず，現在のテスト支援環境の限界の調査を行った．これを通して，いくつか問題点が明らかになり，解決策を検討し，提案・評価を行った．
まず，特定の画面を対象にテストするとき，その画面に到達するために長いパスを必要とする場合，なかなか到達できない問題があった．これに対しては，決定性有限オートマトンを用いて探索パスを記録することにより，状態の再現を可能とし，すでに到達したことのある状態に直接移動することを可能にする手法を提案した．12個のモバイルアプリケーションに対して評価した結果，三つのアプリケーションについてはカバレッジの向上が見られた．向上が見られなかったアプリケーションに対して分析した結果，(1) アプリケーションが小さく状態数が少なかったため効果を得られなかった，(2) アプリケーションの遷移がテスト中に変化する，などがわかった．現在，引き続き結果を分析中である．
上記と並行して別の観点から問題の解決を図った．本環境のテスト手法では，基本的に画面を単位として状態を定義しているが，UI部品の位置を細かく指定すると簡単に状態数が爆発する．また，状態間の遷移に対する報酬が固定されているため，同じ遷移が選ばれるようになる問題がある．最後に，学習の収束しにくさという問題もある．これらの問題を解決するために，(1) 離散値に限定した状態の定義，(2) 動的な報酬関数，(3) 遷移履歴の使用による定期的な再学習の3点を提案した．評価の結果，以前よりカバレッジが約20%向上した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究計画では，現在のテスト支援環境の限界や問題の調査，および明らかになった問題を解決する手法の提案・実装・評価が骨子である．問題の調査は終了していないが，現時点で明らかになった問題に対して，大きく二つの解決手法を提案し，評価を行っている．そのため，「おおむね順調に進展している」と考える．

Strategy for Future Research Activity

2023年度以降では，まず引き続きカバレッジ向上を阻害している原因を調査する．ただし，元のテスト支援環境のみならず，2022年度において提案した手法を採り入れた環境に対しても調査する．そして，それぞれの問題を解決する手法を検討，実装，評価を引き続き行う．

Causes of Carryover

コロナ禍が終息していなかったため，当初予定していた旅費を使用しなかったことが，次年度使用額が生じた最大の理由である．次年度の使用計画としては，国際会議や国内会議などへの論文投稿し参加を行うために使用する予定である．