• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Test Mining : リポジトリマイニングによる組合わせテスト品質最適化

Research Project

Project/Area Number 16K12415
Research Category

Grant-in-Aid for Challenging Exploratory Research

Allocation TypeMulti-year Fund
Research Field Software
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

崔 銀惠 (2019)  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員

崔 銀恵 (2016-2018)  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (00415712)

Co-Investigator(Kenkyū-buntansha) 水野 修  京都工芸繊維大学, 情報工学・人間科学系, 教授 (60314407)
Project Period (FY) 2016 – 2019
Project Status Granted (Fiscal Year 2019)
Budget Amount *help
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2018: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2017: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2016: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywordsテストマイニング / 組み合わせテスト / 重み抽出 / バグ検出 / 不具合特定 / ベイズ推定 / 機械学習 / テストモデル / リポジトリマイニング / 組合わせテスト
Outline of Annual Research Achievements

テストマイニングフレームワークの開発に向けてのタスクを次のように実施した. まず, マイニングフレームワーク開発のために, (1)公開リポジトリSIR(Software Infrastructure Repository)の3つのCプログラムのプロジェクトFlex, Grep, Makeを対象に, 必要なテストコード, テストモデル(パラメータ, 値, 制約条件式), バグ履歴, テスト結果を半自動で抽出できるところまで実施した. (2)また, 公開のパッケージ管理システムMacPortsに対しては, その設定ファイルから構成テスト用のテストモデルとペアワイズテストを全自動生成するプログラムと, テスト実行環境を開発した. 次に, マイニングフレームワークを用いたテストの品質向上へ向けた設計・評価に関しては, まず, (3)(1)で抽出した情報を用いて, 前年度に開発したテストとバグ履歴を入力としたベイズ推定に基づいてテストモデルのパラメータと値に対して優先度を表す重みを自動的に計算する基本アルゴリズムを更に発展させ, テストとバグの履歴に加えてプログラムのコードカバレッジ情報も追加してテストの優先度付けができるプログラムを開発し, 提案法の評価実験を進めた. テスト結果をデバッグとテスト最適化ヘフィードバックさせるために(4)テストの結果から回帰分析と機械学習の手法に基づいて不具合組み合わせを特定するアルゴリズムを発展させ, 必要な探索空間を大幅に削減しながら効率よく不具合特定を可能にしたアルゴリズムの開発と評価を行った. また, 開発したアルゴリズムをパラメータの重み付け, 及び, テストの品質向上のために活用し, 評価する手法の提案を行った. まず, パラメータの重み付け手法開発では, マイニングフレームワークによって抽出したパラメータに対して, 品質予測モデルを用いてテスト品質に影響する度合いに基づく重要度分析を行い, 重み付けする手法の開発を進めた.

Report

(4 results)
  • 2019 Annual Research Report
  • 2018 Research-status Report
  • 2017 Research-status Report
  • 2016 Research-status Report
  • Research Products

    (23 results)

All 2020 2018 2017 2016 Other

All Int'l Joint Research (3 results) Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results) Presentation (17 results) (of which Int'l Joint Research: 10 results)

  • [Int'l Joint Research] Queen's university(カナダ)

    • Related Report
      2019 Annual Research Report
  • [Int'l Joint Research] Queen's University(カナダ)

    • Related Report
      2018 Research-status Report
  • [Int'l Joint Research] Swinburne University of Technology(オーストラリア)

    • Related Report
      2017 Research-status Report
  • [Journal Article] The impact of context metrics on just-in-time defect prediction2020

    • Author(s)
      Masanari Kondo, Daniel M. German, Osamu Mizuno, Eun-Hye Choi
    • Journal Title

      Empirical Software Engineering

      Volume: 25 Issue: 1 Pages: 890-939

    • DOI

      10.1007/s10664-019-09736-3

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] 機械学習による不具合組み合わせ特定への自動分類法の提案と評価2018

    • Author(s)
      西浦 生成, 崔 銀惠, 水野 修
    • Journal Title

      情報処理学会論文誌

      Volume: 59 Pages: 1215-1224

    • NAID

      170000175816

    • Related Report
      2019 Annual Research Report 2018 Research-status Report
    • Peer Reviewed
  • [Journal Article] 深層学習によるソースコードコミットからの不具合混入予測2018

    • Author(s)
      近藤 将成, 森 啓太, 水野 修, 崔 銀惠
    • Journal Title

      情報処理学会論文誌

      Volume: 59 Pages: 1250-1261

    • NAID

      170000149458

    • Related Report
      2019 Annual Research Report 2018 Research-status Report
    • Peer Reviewed
  • [Presentation] ロジスティック回帰分析を利用した組み合わせテスト結果からの不具合誘発パラメータ組み合わせ特定法の改善2018

    • Author(s)
      西浦 生成, 水野 修, 崔 銀惠
    • Organizer
      ソフトウェア信頼性研究会ワークショップ(FORCE2018)
    • Related Report
      2019 Annual Research Report 2018 Research-status Report
  • [Presentation] A Satisfiability-Based Approach to Generation of Constrained Locating Arrays2018

    • Author(s)
      Hao Jin, Takashi Kitamura, Eun-Hye Choi, Tatsuhiro Tsuchiya
    • Organizer
      IEEE International Software Testing Verification and Validation Workshop (ICSTW) - 7th Workshop on Combinatorial Testing (IWCT 2018)
    • Related Report
      2019 Annual Research Report 2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] Optimal Test Suite Generation for Modified Condition Decision Coverage Using Sat Solving2018

    • Author(s)
      Takashi Kitamura, Quentin Maissonneuve, Eun-Hye Choi, Cyrille Valentin Artho, and Angelo Gargantini
    • Organizer
      The 37th International Conference on Computer Safety, Reliability and Security (SAFECOMP)
    • Related Report
      2019 Annual Research Report 2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] Weighting for Combinatorial Testing by Bayesian Inference2017

    • Author(s)
      Eun-Hye Choi, Tsuyoshi Fujiwara, and Osamu Mizuno
    • Organizer
      IEEE International Conference on Software Testing, Verification and Validation Workshop (ICSTW2017)
    • Related Report
      2019 Annual Research Report 2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] Towards Quality Improvement and Analysis of Combinatorial Testing2017

    • Author(s)
      Eun-Hye Choi and Osamu Mizuno
    • Organizer
      IPSJ/SIGSE Winter Workshop 2017 in Hida-Takayama (WWS2017)
    • Related Report
      2019 Annual Research Report 2016 Research-status Report
  • [Presentation] A Revisit of the Integration of Metamorphic Testing and Test Suite Based Automated Program Repair2017

    • Author(s)
      Mingyue Jiang, Tsong Yueh Chen, Fei-Ching Kuo, Zuohua Ding, Eun-Hye Choi, and Osamu Mizuno
    • Organizer
      2017 IEEE/ACM 2nd International Workshop on Metamorphic Testing
    • Related Report
      2019 Annual Research Report 2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] Improving Faulty Interaction Localization Using Logistic Regression2017

    • Author(s)
      Kinari Nishiura, Eun-Hye Choi, and Osamu Mizuno,
    • Organizer
      2017 IEEE International Conference on Software Quality, Reliability & Security
    • Related Report
      2019 Annual Research Report 2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 機械学習による不具合組み合わせ特定への自動分類法の提案と評価2017

    • Author(s)
      Kinari Nishiura, Eun-Hye Choi, Osamu Mizuno
    • Organizer
      ソフトウェアエンジニアリングシンポジウム2017
    • Related Report
      2019 Annual Research Report 2017 Research-status Report
  • [Presentation] 機械学習を用いた不具合組合せ特定法の提案2016

    • Author(s)
      Kinari Nishiura, Eun-Hye Choi, Osamu Mizuno
    • Organizer
      ソフトウェア信頼性研究会ワークショップ (FORCE2016)
    • Place of Presentation
      金沢勤労者プラザ,金沢市
    • Year and Date
      2016-12-17
    • Related Report
      2016 Research-status Report
  • [Presentation] Code Coverage Analysis of Combinatorial Testing2016

    • Author(s)
      Eun-Hye Choi, Osamu Mizuno, and Yifan Hu
    • Organizer
      The 4th International Workshop on Quantitative Approaches to Software Quality(QUASoQ 2016)
    • Place of Presentation
      University of Waikato,ハミルトン,ニュージーランド
    • Year and Date
      2016-12-06
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] ロジスティック回帰分析を用いた組合せテストの不具合特定法の提案2016

    • Author(s)
      Kinari Nishiura, Eun-Hye Choi, Osamu Mizuno
    • Organizer
      第23 回ソフトウェア工学の基礎ワークショップ (FOSE2016)
    • Place of Presentation
      琴参閣,香川県仲多度郡琴平町
    • Year and Date
      2016-12-02
    • Related Report
      2016 Research-status Report
  • [Presentation] Test Effectiveness Evaluation of Prioritized Combinatorial Testing: a Case Study2016

    • Author(s)
      Eun-Hye Choi, Shunya Kawabata, Osamu Mizuno, Cyrille Artho, and Takashi Kitamura
    • Organizer
      The 2016 IEEE International Conference on Software Quality, Reliability & Security (QRS2016)
    • Place of Presentation
      Vienna University of Technology,ウィーン,オーストリア
    • Year and Date
      2016-08-01
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] Code Coverage Analysis of Combinatorial Testing2016

    • Author(s)
      Eun-Hye Choi, Osamu Mizuno, and Yifan Hu
    • Organizer
      The 4th International Workshop on Quantitative Approaches to Software Quality(QUASoQ 2016)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Distance-Integrated Combinatorial Testing2016

    • Author(s)
      Eun-Hye Choi, Cyrille Artho, Takashi Kitamura, Osamu Mizuno, and Akihisa Yamada
    • Organizer
      The 27th International Symposium on Software Reliability Engineering (ISSRE2016)
    • Related Report
      2019 Annual Research Report 2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] Test Effectiveness Evaluation of Prioritized Combinatorial Testing : a Case Study2016

    • Author(s)
      Eun-Hye Choi, Shunya Kawabata, Osamu Mizuno, Cyrille Artho, and Takashi Kitamura
    • Organizer
      The 2016 IEEE International Conference on Software Quality, Reliability & Security (QRS2016)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ロジスティック回帰分析を用いた組合せテストの不具合特定法の提案2016

    • Author(s)
      Kinari Nishiura, Eun-Hye Choi, Osamu Mizuno
    • Organizer
      第23回ソフトウェア工学の基礎ワークショップ(FOSE2016)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 機械学習を用いた不具合組合せ特定法の提案2016

    • Author(s)
      Kinari Nishiura, Eun-Hye Choi, Osamu Mizuno
    • Organizer
      第23回ソフトウェア工学の基礎ワークショップ(FOSE2016)
    • Related Report
      2019 Annual Research Report

URL: 

Published: 2016-04-21   Modified: 2021-07-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi