2020 Fiscal Year Annual Research Report
Automated Testing of Deep Learning Systems
| Project/Area Number |
19H04086
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
趙 建軍 九州大学, システム情報科学研究院, 教授 (20299580)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鵜林 尚靖 九州大学, システム情報科学研究院, 教授 (80372762)
亀井 靖高 九州大学, システム情報科学研究院, 准教授 (10610222)
馮 尭楷 九州大学, システム情報科学研究院, 助教 (60363389)
馬 雷 九州大学, システム情報科学研究院, 准教授 (70842061)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | プログラムデバッグ / 深層学習システム / 安全性と信頼性 |
|---|
| Outline of Annual Research Achievements |
本研究では、DLシステムにおける系統的な自動テスト技術を確立することを目的としている。本研究では2020年度得られた主な研究成果は以下の通りである。
１）本研究では、故障データに基づくDNNの修復をデータ増強問題として定式化し、限られた故障事例を最大限に活用する新しい増強ベースの修復法を設計した。特定の故障例に一般化したDNN修復効果を実現するために、独自に、故障例のガイダンスで学習データを補強する Fewar-shot guided mix（FSGMix）を提案した。これにより、収集された故障例や類似の疑わしいデータに対して高い汎化性を実現した。CIFAR-10データセットを用いた予備的な評価により、DNN 運用環境における潜在的な故障パターンの解決を自動的に学習する本研究での提案手法の可能性が示された。
２）本研究では、深層学習（DL）の意思決定に内在する不確実性は、その誤った動作の根本的な理由となる可能性がある。最近、いくつかのテスト、敵対者の攻撃および防御手法が提案されたが、敵対者の例とDLの不確実性との関係を明らかにする体系的な研究がまだ不足している。このギャップを埋めるために大規模な調査を行った。
３）本研究では、実世界のRNNベースのDLシステムの定量的なロバストネス分析のためのモデルベースのアプローチであるMarbleを提案した。このために、RNNの頑健性を抽象化してコンパクトに特徴づけるための確率モデルを構築した。さらに、正確な抽象化を導出するための反復的な洗練アルゴリズムを提案し、これにより堅牢性測定の正確な定量化を可能にした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では、2020年度の研究について順調に進展している理由は次の通りです。
（１）「データ駆動型DLシステムにおける不具合の修正」に対して、本研究では独自に、故障例のガイダンスで学習データを補強するFewar-shot guided mix (FSGMix)を提案し、検証した。
（２）「システムのカスタマイズと最適化」に対して、研究では、主に適切なトレーニングを受けたDLモデルをGPU対応サーバーからモバイルデバイスプラットフォーム（AndroidやIOSなど）に導入することを検討中であり、また、精度の低下なしに、計算効率、メモリ消費、エネルギー効率を大幅に向上させる量子化とDLソフトウェア圧縮技術を提案する予定である。
以上の理由で、本研究に対して、順調に進展していることとなっている。
|
| Strategy for Future Research Activity |
本研究では、今後の研究の推進方策は次の通りである。
2021年度において、「実用システムへの適用より提案した手法の有効性の検証」対し、本研究では、2019~2020年度で提案されたDLシステム自動テスト関連のソリューションを実用的なDL ベースの自動運転ステアリング(steering) 制御システムへ適用し、その有効性を検証する。まず、Udacityの自動運転試験環境をセットアップし、自動化されたDL テストおよび修正ソリューションを適用する。この段階では、Udacityの自動運転挑戦で競争力のあるパフォーマンスを得ることができる現在の最先端のDL モデル（例えば、Chauffeur、Rambo）を選択する。自動運転環境を設定した後、項目A、B、Cで提案され た解決策を自動運転のシナリオに適用し、大規模なテストを生成し、DLモデルの潜在的な問題を検出する。エラートリガテストが行われた後、問題があるモデルに対して自動修正を行い、品質と堅牢性を向上させる。さらに、修正前後のDL モデルの頑健性（敵対的攻撃による）を比較する大規模な分析を行う。本研究で提案されたソリューションでは、DLソフトウェアの潜在的な問題を系統的に検出し、これらの問題を解決まで完全自動化することができることを実験で検証する。
また、「DL システムにおける不具合の自動修正と性能向上技術の開発」に対して、2020年度の研究成果に基づく、更に、新しい手法の提案や実証実験の実施など、幾つかの進展を予定しており、その研究成果の公表等も計画してる。
|
Research Products
(10 results)
