• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Comprehensive Analysis and Repairing Techniques for Stateful Deep Learning Systems

Research Project

Project/Area Number 20H04168
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 60050:Software-related
Research InstitutionKyushu University

Principal Investigator

馬 雷  九州大学, システム情報科学研究院, 学術研究員 (70842061)

Co-Investigator(Kenkyū-buntansha) 佐藤 周行  東京大学, 情報基盤センター, 准教授 (20225999)
趙 建軍  九州大学, システム情報科学研究院, 教授 (20299580)
石川 冬樹  国立情報学研究所, アーキテクチャ科学研究系, 准教授 (50455193)
鵜林 尚靖  九州大学, システム情報科学研究院, 教授 (80372762)
Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2021: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2020: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Keywords深層学習システム / ソフトウエア解析 / ソフトウエアテスト / ソフトウエア修復 / 回帰型ニューラルネットワーク / ソフトウェア工学 / 知能ソフトウェア解析 / 深層学習 / 機械学習工学 / 回帰型ニューラルネットワーク解析 / 機械学習品質保証
Outline of Research at the Start

深層学習(DL)は画像処理、音声認識、自然言語処理、及ひ囲碁なとの応用面て華々しい成功をおさめ、自動運転車やロボットなと、社会基盤に関わる重要な分野ての成果か益々期待されている。それと同時に、DLシステムにおける障害か発生する場合、社会に巨大な災害をもたらす可能性かあるため、その信頼性と安全性に対する要求か益々高くなっている。本研究ては、ステートフル深層学習システム(RNN)に対する系統的解析と修復技術の確立を目的としている。本研究の進展により、RNNにおける系統的な解析やテスト技術とその支援環境か整い、信頼性と安全性の高いRNNシステムを構築することか期待てきる。

Outline of Annual Research Achievements

深層学習(DL)は画像処理、音声認識、自然言語処理、及ひ囲碁なとの応用面て華々しい成功をおさめ、自動運転車やロボットなと、社会基盤に 関わる重要な分野ての成果か益々期待されている。それと同時に、DLシステムにおける障害か発生する場合、社会に巨大な災害をもたらす可能性かあるため、その信頼性と安全性に対する要求か益々高くなっている。本研究ては、ステートフル深層学習システム(RNN)に対する系統的解 析と修復技術の確立を目的としている。本研究の進展により、RNNにおける系統的な解析やテスト技術とその支援環境か整い、信頼性と安全性の高いRNNシステムを構築することか期待てきる。

今年度はRNNから抽象モデルの抽出と初期化を提案できました。RNNの状態遷移動作を解析しやすいモデルて近似すると、ホワイトボックス解析と理解か可能になれる。具体的には、RNNからマルコフ決定フロセス(MDP)を活用して抽出し、近似する。抽出されるのモデルはMDPによって、状態、遷移、およひトレースの詳細な統計的動作に特徴付け、強力な表現力により、トレーニングテータを使用し、RNNのフロファイリングを行い、具体的な状態遷移を取得し、振る舞いの近似できるのモデルを構築する。MDPに基づいて、時系列入力T = {t1,t2,...,tn}がRNNに与えると、RNNかtiて誤った判断をしないように、各セグメント(segment)tiに対する頑健性をリアルタイムて解析することか重要てある。本年度には、Deep Learning (DL)システムの頑健性メトリクスとテストカバレッジ基準を調査し、新しい基準を提案し、その支援ツールを開発した。プロジェクト全体の目標に向けて、順序に進めている。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初提案されたの研究計画に向けて、順調に進んでいる。

Strategy for Future Research Activity

今後の研究実施計画ては、2020年度の研究に基づいて、主要的な抽象モデルの抽出方法と解析とテスト生成フレームワークの構築は目標とになる、更に提案されたプロジェクト全体目標を進めていく。
具体的には:a) RNNから抽象モデルの抽出方法とツールを完成する。提出された手法を実験する。さらに、RNNから抽象モデルの抽出方法を評価し、結果が国際会議と雑誌を投稿する。b) RNN自動解析とテスト生成フレームワークの構築を完成の目標となる。RNN自動解析とテスト生成フレー ムワークを評価し、結果が国際会議と雑誌を投稿する。c)RNNの修復技術を探索研究にする。RNNシステムのオンライン修正技術の研究と実装。d) 提出された技術の有効性を検証ために、RNN応用のBenchmarkを構築する。構築されたRNN応用のBenchmark の上、RNNから抽象モデルの抽出方法とRNN自動解析とテスト生成フレームワークは大規模に実験し、有効性と検証する。

Report

(1 results)
  • 2020 Annual Research Report

Research Products

(14 results)

All 2021 2020 Other

All Int'l Joint Research (3 results) Presentation (11 results) (of which Int'l Joint Research: 11 results)

  • [Int'l Joint Research] Nanyang Technological University(シンガポール)

    • Related Report
      2020 Annual Research Report
  • [Int'l Joint Research] Concordia University(カナダ)

    • Related Report
      2020 Annual Research Report
  • [Int'l Joint Research] Peking University(中国)

    • Related Report
      2020 Annual Research Report
  • [Presentation] Decision-Guided Weighted Automata Extraction from Recurrent Neural Networks2021

    • Author(s)
      Xiyue Zhang, Xiaoning Du, Xiaofei Xie, Lei Ma, Yang Liu, Meng Sun
    • Organizer
      Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI 2021, CORE Rank A*)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining2021

    • Author(s)
      Qing Guo, Jingyang Sun, Felix Juefei-Xu, Lei Ma, Xiaofei Xie, Wei Feng, Yang Liu, and Jianjun Zhao
    • Organizer
      Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI 2021, CORE Rank A*)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Watch out! Motion is Blurring the Vision of Your Deep Neural Networks2020

    • Author(s)
      Qing Gu, Felix Juefei-Xu, Xiaofei Xie, Lei Ma, Jian Wang, Bing Yu, Wei Feng, Yang Liu
    • Organizer
      Thirty-fourth Conference on Neural Information Processing Systems (NeurIPS 2020, CORE Rank A*)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A First Look at the Integration of Machine Learning Models in Complex Autonomous Driving Systems: a Case Study on Apollo2020

    • Author(s)
      Zi Peng, Jinqiu Yang, Tse-Hsun Chen, Lei Ma
    • Organizer
      The 28th ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering (ESEC/FSE 2020, CORE Rank A*)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] MARBLE: Model-Based Robustness Analysis of Stateful Deep Learning Systems2020

    • Author(s)
      Xiaoning Du, Yi Li, Xiaofei Xie, Lei Ma, Yang Liu, Jianjun Zhao
    • Organizer
      The 35th IEEE/ACM International Conference on Automated Software Engineering. (ASE 2020, CORE Rank A)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Cats Are Not Fish: Deep Learning Testing Calls for Out-Of-Distribution Awareness2020

    • Author(s)
      David Berend, Xiaofei Xie, Lei Ma, Lingjun Zhou, Yang Liu, Chi Xu, Jianjun Zhao
    • Organizer
      The 35th IEEE/ACM International Conference on Automated Software Engineering. (ASE 2020, CORE Rank A)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Few-Shot Guided Mix for DNN Repairing2020

    • Author(s)
      Xuhong Ren, Bing Yu, Hua Qi, Felix Juefei-Xu, Zhuo Li, Wanli Xue, Lei Ma and Jianjun Zhao
    • Organizer
      The 36th IEEE International Conference on Software Maintenance and Evolution, NIER Track (CORE Rank A)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] DeepRhythm: Exposing DeepFakes with Attentional Visual Heartbeat Rhythms2020

    • Author(s)
      Hua Qi, Qing Guo, Felix Juefei-Xu, Xiaofei Xie, Lei Ma, Wei Feng, Yang Liu, Jianjun Zhao
    • Organizer
      Proceedings of the 28th ACM International Conference on Multimedia (ACM MM, CORE Rank A*)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] DeepSonar: Towards Effective and Robust Detection of AI-Synthesized Fake Voices2020

    • Author(s)
      Run Wang,Felix Juefei-Xu, Yihao Huang, Qing Guo, Xiaofei Xie, Lei Ma, Yang Liu
    • Organizer
      Proceedings of the 28th ACM International Conference on Multimedia (ACM MM, CORE Rank A*)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Amora: Black-box Adversarial Morphing Attack2020

    • Author(s)
      Run Wang,Felix Juefei-Xu, Yihao Huang, Qing Guo, Xiaofei Xie, Lei Ma, Yang Liu
    • Organizer
      Proceedings of the 28th ACM International Conference on Multimedia (ACM MM, CORE Rank A*)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automated Test Input Generation for Convolutional Neural Networks by Implementing Multi-objective Evolutionary Algorithms2020

    • Author(s)
      Lingfeng ZHANG, Hiroyuki SATO
    • Organizer
      2020 Eighth International Symposium on Computing and Networking Workshops (CANDARW)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2020-04-28   Modified: 2022-04-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi