2021 Fiscal Year Annual Research Report
Automated Testing of Deep Learning Systems
| Project/Area Number |
19H04086
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
趙 建軍 九州大学, システム情報科学研究院, 教授 (20299580)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鵜林 尚靖 九州大学, システム情報科学研究院, 教授 (80372762)
亀井 靖高 九州大学, システム情報科学研究院, 准教授 (10610222)
馮 尭楷 九州大学, システム情報科学研究院, 助教 (60363389)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ソフトウェアテスト / 信頼性と安全性 / 深層学習システム |
|---|
| Outline of Annual Research Achievements |
本研究では、深層学習（Deep Learning, DL）システムに対する系統的な自動テスト技術の確立を目的としている。具体的には、(A) DLシステムの総合的なテストカバレッジ基準の設計と開発、(B) DLシステムの自動テスト生成フレームワークの構築、(C) DLシステムにおける不具合の自動修復と性能向上技術の開発、(D) 本研究で提案した手法の実用DLシステムへの適用による有効性の検証が含まれる。本年度では、前年度に提案した手法の有効性を実用システムへの適用前に検証し、得られた主な研究成果は以下の通りである。
具体的には、提案されたDLシステム自動テスト関連のソリューションを実用的なDLベースの自動運転ステアリング(steering) 制御システムに適用し、その有効性を検証した。まず、Udacityの自動運転試験環境をセットアップし、自動化されたDLテストおよび修正ソリューションを適用した。この段階では、Udacityの自動運転挑戦で競争力のあるパフォーマンスを示す最先端のDLモデル（例えば、Chauffeur、Ramboなど）を選択した。自動運転環境を設定した後、項目A、B、Cで提案された解決策を自動運転のシナリオに適用し、大規模なテストを生成し、DLモデルの潜在的な問題を検出した。エラートリガテストが行われた後、問題があるモデルに対して自動修正を行い、品質と堅牢性を向上させた。さらに、修正前後のDLモデルの頑健性（敵対的攻撃による）を比較する大規模な分析を行った。本研究で提案されたソリューションでは、DLソフトウェアの潜在的な問題を系統的に検出し、これらの問題を解決まで完全自動化することができることを実験で検証した。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
