• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

High-Quality Machine Learning-based Systems via Traceability Exploration between Requirements and Implementation

Research Project

Project/Area Number 23K21657
Project/Area Number (Other) 21H03420 (2021-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2021-2023)
Section一般
Review Section Basic Section 60050:Software-related
Research InstitutionNational Institute of Informatics

Principal Investigator

石川 冬樹  国立情報学研究所, アーキテクチャ科学研究系, 准教授 (50455193)

Co-Investigator(Kenkyū-buntansha) 前澤 悠太  株式会社Udzuki(研究部), 研究部, 部長 (90759771)
Zhang Xiaoyi  国立情報学研究所, アーキテクチャ科学研究系, 特任研究員 (70883528)
Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥16,900,000 (Direct Cost: ¥13,000,000、Indirect Cost: ¥3,900,000)
Fiscal Year 2024: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2023: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Keywords深層学習 / 欠陥局所化 / プログラム自動修正 / デバッグ / Fault Localization
Outline of Research at the Start

自動運転など品質が非常に重要となる領域も含め深層学習の産業応用が追求されているが,Deep Neural Network(以後DNN)の複雑さ・ブラックボックス性から,品質の保証や向上が難しい.本研究では,DNNにおいて要求の一部分と実装の一部分を対応づけるトレーサビリティーを実現する技術に取り組む.焦点として,DNNの内部挙動のパターンや多様性をとらえる指標を用いることで,それらがどう要求充足の程度,すなわち品質に関連するかを追求し,この関連性を用いたテスト技術やデバッグ技術を確立する.これにより,対象システム固有の要求に応じて意義ある品質の評価や改善を効果的・効率的に行えるようにする.

Outline of Annual Research Achievements

機械学習,特に深層学習の技術進歩を受け,自動運転など品質が非常に重要となる領域も含め様々な産業応用が追求されている.一方で,深層学習で用いるDeep Neural Network(以後DNN)は,その複雑さ・ブラックボックス性から,品質の保証や向上の困難さが指摘されている.本研究では,DNNにおいて要求の一部分と実装の一部分を対応づけるトレーサビリティーを実現する技術に取り組む.本研究の焦点として,DNNの内部挙動のパターンや多様性をとらえる指標を用いることで,それらがどう要求充足の程度,すなわち品質に関連するかを追求する.その上でこの関連性を用いたテスト技術やデバッグ技術を確立する.これにより,対象システム固有の要求に応じて意義ある品質の評価や改善を効果的・効率的に行うことができるようにする.
本年度(2023年度)においては,産業界の要望を踏まえたベンチマークでの評価を通し,これまでに構築した,DNNの振る舞いに関する分析・修正手法を深化させた.自動車業界の企業やAIベンダーの企業において,プロジェクト固有のニーズや,ステークホルダーが重視する点をヒアリングし,それらを踏まえた実証的な評価を行うとともに,そのフィードバックを手法の実装に反映する検討を行った.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

産業界との議論、旗艦国際会議での論文発表などを順調に行うことができた。

Strategy for Future Research Activity

これまでの成果について得られたフィードバックを反映しつつ、最終的な成果が広く利用可能になるように整備する。

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (9 results)

All 2023 2021 Other

All Int'l Joint Research (3 results) Presentation (6 results) (of which Int'l Joint Research: 6 results)

  • [Int'l Joint Research] Polytechnic University of Milan(イタリア)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] Univ. of Science and Technology Beijing(中国)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] Technical University of Munich(ドイツ)

    • Related Report
      2023 Annual Research Report
  • [Presentation] Adaptive Search-based Repair of Deep Neural Networks2023

    • Author(s)
      Davide Li Calsi, Matias Duran, Thomas Laurent, Xiao-Yi Zhang, Paolo Arcaini, Fuyuki Ishikawa
    • Organizer
      The Genetic and Evolutionary Computation Conference (GECCO 2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Distributed Repair of Deep Neural Networks2023

    • Author(s)
      Davide Li Calsi, Matias Duran, Xiao-Yi Zhang, Paolo Arcaini, Fuyuki Ishikawa
    • Organizer
      The 16th IEEE International Conference on Software Testing, Verification and Validation (ICST 2023)
    • Related Report
      2023 Annual Research Report 2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] An Experience Report on Regression-Free Repair of Deep Neural Network Model2023

    • Author(s)
      Takao Nakagawa, Susumu Tokumoto, Shogo Tokui, Fuyuki Ishikawa
    • Organizer
      The 30th IEEE International Conference on Software Analysis, Evolution and Reengineering (SANER 2023 Industry Track)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] NeuRecover: Regression-Controlled Repair of Deep Neural Networks with Training History2021

    • Author(s)
      Shogo Tokui, Susumu Tokumoto, Akihito Yoshii, Fuyuki Ishikawa, Takao Nakagawa, Kazuki Munakata and Shinji Kikuchi
    • Organizer
      The 29th IEEE International Conference on Software Analysis, Evolution and Reengineering (SANER 2022)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] What to Blame? On the Granularity of Fault Localization for Deep Neural Networks2021

    • Author(s)
      Matias Duran, Xiao-Yi Zhang, Paolo Arcaini, Fuyuki Ishikawa
    • Organizer
      The 32nd International Symposium on Software Reliability Engineering (ISSRE 2021 Practical Experience Reports)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Model-based Data-Complexity Estimator for Deep Learning Systems2021

    • Author(s)
      Yuta Ojima, Shingo Horiuchi, Fuyuki Ishikawa
    • Organizer
      The 3rd IEEE International Conference on Artificial Intelligence Testing (IEEE AI Tests 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi