2016 Fiscal Year Research-status Report
不具合特定能力を持つ実用的な組み合わせインタラクションテストの実現
| Project/Area Number |
15K00098
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
土屋 達弘 大阪大学, 情報科学研究科, 教授 (30283740)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | ソフトウェア工学 / テスト / 組み合わせテスト / ロケーティングアレイ |
|---|
| Outline of Annual Research Achievements |
本研究では，ソフトウェアシステムに対する組み合わせインタラクションテスト（CIT）を発展させ，高不具合検出能力と低実行コストに加え，不具合の特定能力を持ち合わせるテストの自動設計実現を目的としている．そのため，A) 実用上の制約や状況を反映した問題定式化，B)テスト生成アルゴリズムの開発と実装，C) 最小テスト集合の解明に基づく性能評価，という三つのサブテーマについて取り組む．平成２８年度では，これらのサブテーマについて以下のような実績が得られた．
まず，Aの問題定式化については，前年度に行った禁則条件と呼ばれる実用上の制約が存在した場合における，CITの不具合特定能力の定式化を完成させ，制約付きロケーティングアレイの概念を導入した．
次に，Bのアルゴリズムの開発と実装については，シミュレーティッドアニーリングを用いた手法を開発し，前年度に開発した貪欲法によるアルゴリズムよりも，少ないテストケースで不具合特定が可能になることを示した．また，前年度に予備的な成果を得ていたデータ構造であるZDDの利用に関し，テストケース生成において管理すべきデータの数が通常の方法では取り扱えない程膨大になる場合に有効であることを，実際にテストケースを生成するプログラムを実装して実証した．
Cについては，性能評価におけるベースラインとして，最小テスト集合を求めることが必要である．そのため，制約充足問題として最小テスト集合を求める問題を定式化した．その上で，この制約充足問題を簡潔に記述できるドメイン特化言語として神戸大で開発されたScarabを選択し，Scarabの機能を用いて充足可能性判定問題 (SAT)へ問題を還元し高速なSATソルバにより求解を行った．その結果，テストケース集合を数学的に定義した（制約無しの）ロケーティングアレイで，これまでで最小なものを多数発見することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の，A) 実用上の制約や状況を反映した問題定式化，B)テスト生成アルゴリズムの開発と実装，C) 最小テスト集合の解明に基づく性能評価，という三つのサブテーマに関し，平成２８年度では，B, Cに関して計画を上回る進捗が見られた．Bに関しては，当初の計画になく昨年度テストケース生成の計算時間の問題に対処するため導入したZDDの利用について研究を進め，対象とする不具合が複雑な場合（多数の因子のインタラクションを想定した場合）極めて多くのデータを保存することが必要で，通常の方法では対処できない場合でもZDDを用いることでそれが可能となることを，実際にテスト生成を行うプログラムを作成し実証した．また，Cに関しては，ドメイン特化言語を用いることで，簡潔に最小テスト生成問題を定式化し，SAT問題に変換することで最新のSATソルバを利用して高速に求解することができた．不具合特定が可能なテストケース集合を数学的に表現したロケーティングアレイをこの方法で求め，これまでで最も小さいロケーティングアレイを異なる因子，水準数に対し多数発見することができた．
Aに関しては，制約付きロケーティングアレイという新たな概念を導入することができたため，前年度でやや遅延が生じていたが，ほぼ当初の計画の進捗予定に追いついたと考えられる．
|
| Strategy for Future Research Activity |
研究の最終年度である平成２９年度では，前年度までの研究成果を統合し，当初の計画，もしくはそれ以上の成果を目指して，研究を進捗させる．
まず，A) 実用上の制約や状況を反映した問題定式化については，制約付きロケーティングアレイの概念を完成させたので，この成果を論文として国際学会，もしくは，国際ジャーナルにて発表する．
次に，B)テスト生成アルゴリズムの開発と実装については，前年度開発したシミュレーティッドアニーリングによるアルゴリズムを改良し，サイズの小さい（テストケース数の少ない）制約付きロケーティングアレイを求めることのできるアルゴリズムを開発し，ツールとして実装する．また，このとき必要があれば，前年度有効性を確認したZDDを，内部データ構造として利用する．
最後にC) 最小テスト集合の解明に基づく性能評価については，すでに，最小テスト集合を充足可能性判定問題 (SAT)へ還元する方法を開発し多数のこれまでで最も小さいテスト集合を求めており，計算資源を増加させることで更に多数のテスト集合を求めるとともに，その結果をベースラインとして用いてBで開発したアルゴリズムの評価を行う．BとCの研究成果として得られるアルゴリズムとその性能評価結果について，最終的に国際学会，もしくは，国際ジャーナルにて発表する．
|
| Causes of Carryover |
PCクラスタをレンタルし，その上でSATソルバによる最小テスト集合の求解を予定していたが，研究室内のサーバを利用して行ったため，その分の経費が未使用となった．
|
| Expenditure Plan for Carryover Budget |
最終年度である本年度は，成果の国際会議での発表も視野に入れており，未使用額は，海外渡航費，会議の変動の大きさ程度であるため，予定通りの予算執行に関して支障はない．
|
