|
非決定的要素を含むシステム（IoT、CPS等)を対象とするシステム試験の高効率化・高信頼化の実現のために、決定的／非決定的試験ケースの実行が可能かつ実機を用いた／実機に搭載されたソフトウェアを用いたホワイト／ブラックボックス試験の自動実行・評価が可能な統合評価試験環境を構築する。2019年度は、過去３年間の成果をもとに以下の開発を行った。
（１）統合評価試験環境上で動作する試験ケース自動生成方式の開発：自然言語で記載されたシステム仕様書から、自然言語処理技術を用い試験ケースを自動生成するツールを開発した。実際の仕様書では表形式の記載が多用されるため、表形式で記載された仕様書へも対応可能なようにツールを拡張した。さらに、自動生成ツールの変換性能向上のため、６種類の仕様書から、仕様書特有の表現を集めたデータベースを構築し、仕様書特有表現対応変換ルールを抽出した。左記変換ルールを試験ケース自動生成ツールに搭載し、70%～90％の仕様書表現（文・表形式）が、正しく自動変換できることを確認した。また、日本語以外の他言語（英語）に対応可能とした。
（２）試験自動実行・試験結果の自動評価環境の構築：決定／非決定、ホワイト／ブラックボックス、実行テスト／モデル検査の試験実施を、対象機器、適用フェーズにあわせ自在に選択可能な統合評価環境を構築した。特に、今年度は過去２年間の協力会社２社の試用結果を踏まえ、テスト結果可視化（例：シーケンス図表示、状態遷移図表示）機能を拡張した。
（３）製品試験適用：協力会社１社と１年間の製品適用プロジェクトを遂行した。技術者（７名）とのワークショップ形式で、実際の製品仕様書からの試験ケースの自動生成、実際の製品を用いた統合評価環境での自動実行・評価、ツールによる可視化結果を用いた試験結果レビュー等実施し、開発した２つのツールの実用性を確認した。
|
