• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A safety analysis method for software including black box part, such as machine learning software

Research Project

Project/Area Number 22K04616
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 25020:Safety engineering-related
Research InstitutionUniversity of Yamanashi

Principal Investigator

高橋 正和  山梨大学, 大学院総合研究部, 教授 (20403446)

Co-Investigator(Kenkyū-buntansha) 渡辺 喜道  山梨大学, 大学院総合研究部, 教授 (00210964)
Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywordsハザード / ハザード解析 / STPA / FMEA / AI機能 / Structured STPA (SSTPA) / 安全性 / 安全性解析 / ソフトウェア / FRAM
Outline of Research at the Start

知的制御ソフトウェアを構成するMLSWは挙動を完全に把握することが困難なため,知的制御ソフトウェアが想定外の挙動を生じ,事故を引き起こしている.本申請では,MLSW部分の検証手法,MLSWの制御ソフトウェアへの組込み手法,知的制御ソフトウェアの安全性解析手法(FMEA,FTA,HAZOP,STPA,FRAM)を確立する.これらの手法を知的制御ソフトウェアに適用することで高い安全性と性能を実現し,社会生活の安全化と高度化に貢献する.

Outline of Annual Research Achievements

令和5年度は、複雑な構成を有するシステムのハザード発生原因を分析する手法について研究した.主要な成果は以下の通りである.
(1)階層化STPAの提案: システム開発の上流工程において,システムを構成する要素(以降,コンポーネント)の間の相互作用により発生するハザードの原因分析を行う手法であるSystem-Theoretic Process Analysis(以降,STPA)をシステムの全開発工程に適用できるように拡張した.通常のSTPAでは取り扱うコンポーネントの個数は5-6個程度が推奨されている.しかし,これでは多数のコンポーネントからなる複雑なシステムのハザードの原因を分析することができない.そこで,コンポーネントを階層的に記述できるようにSTPAを拡張した.その結果,システム開発の進展に伴い,各コンポーネントを段階的に詳細化と追加をして定義していくことで,全開発工程でハザード解析をシームレスに行うことができるようになった.
(2)AIを用いたシステムのFMEAの提案: システムに対して,発生する可能性のある故障を網羅的に検討する手法であるFailure Mode and Effects Analysis(以降,FMEA)をAI技術を用いた機能を含むシステムの故障解析に適用する方法を提案した.AI技術を用いた機能で起こりうる故障モード(判断結果の誤りの種類)を分類し,リスト化した.そのリストを用いて,FMEAを行うことで,システムが生じる故障を予測できるようにした.
(3)AIを用いたシステムの品質モデルの提案: 様々な産業,業務ドメインのソフトウェアに含まれるAI技術を利用した機能に対して求められる品質特性をドメインごとに分類と整理をした.さらに,ドメインごとに重点品質特性に対してSTPAやFMEAを実施する方法を検討した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

令和5年度は複雑な構成のシステム向けのSTPA,AI機能を含むシステムのFMEA,ドメインごとのAI機能に求められるAIの品質特性について研究した.以上のことから,複雑かつAI機能を含むシステムのハザード解析ができるようになった.今後は,これらの手法を様々な実システムに適用し,提案した手法の評価を行う.さらに,問題点があれば,上述の研究結果に反映させる.これにより提案手法の有効性を高めていく.
さらに,システムの機能が共鳴することで想定外の大きな出力が生じることでシステムの安全が脅かされるような状況となる可能性があるかを分析する手法であるFunctional Resonance Analysis Method(以降,FRAM)についての調査を開始した.今後はFRAMを複雑かつAI機能を有するシステムに適用する方法を検討する.
令和5年度の進捗は,ほぼ当初の計画通りである.ただし,FRAMに関する調査と研究が,先行研究や適用事例が少ないためやや遅れている.

Strategy for Future Research Activity

令和6年度は本研究の最終年度であるため,以下の方針で研究を行う.
(1)複雑な構成でAI機能を有するシステムのハザード解析: 本項目については令和5年度までに実施した成果を融合し,実システムのハザード解析を実施する.適用する実システムは組込みシステムを想定している.これは,組込みシステムの場合,複雑な機能に起因する故障(例えば,多重割込み発生時の処理の不具合,想定外の入力データによる計算結果の不具合,システムの資源の取り合いによる処理の遅延による不具合など)のハザード解析を必要としているためである.さらに,近年ではAI機能を搭載した自動運転車やドローンなどが開発されるようになり,AI機能の計算結果に起因するハザードが問題となっているためである.
(2)複雑な構成でAI機能を有するシステムへのFRAMの適用: 上記で例示したハザードの発生は,必ずしもコンポーネント本体の不具合だけとは限らない.例えば,想定外のタイミングで,同時に複数の機能の出力が過剰となり,それらの出力を用いてシステムの制御を行った結果,システムが不安全な状態に陥るような状況(通常は同時に計算結果が得られることが無いと仮定してシステムが設計されていると仮定)について,FRAMを用いてハザード発生の可能性を予測する方法を研究する.

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (14 results)

All 2024 2023 2022 Other

All Int'l Joint Research (2 results) Journal Article (7 results) (of which Int'l Joint Research: 7 results,  Peer Reviewed: 7 results,  Open Access: 4 results) Presentation (3 results) (of which Int'l Joint Research: 3 results) Remarks (2 results)

  • [Int'l Joint Research] Politeknik Statistika STIS(インドネシア)

    • Related Report
      2023 Research-status Report
  • [Int'l Joint Research] Politeknik Statistika STIS(インドネシア)

    • Related Report
      2022 Research-status Report
  • [Journal Article] Quality Model and Quality Characteristics Evaluation Suitable for Software 2.02024

    • Author(s)
      Yoshimichi Watanabe, Yunarso Anang, Masakazu Takahashi
    • Journal Title

      International Journal of Engineering and Technology Innovation

      Volume: -

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A proposal of hazard analysis method using structured system theoretical process analysis2023

    • Author(s)
      Takahashi Masakazu、Morimoto Daiki、Anang Yunarso、Watanabe Yoshimichi
    • Journal Title

      SICE Journal of Control, Measurement, and System Integration

      Volume: 16 Issue: 1 Pages: 192-202

    • DOI

      10.1080/18824889.2023.2198476

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] AI Risk Assessment using Failure Mode and Effect Analysis (FMEA) based on AI Incident Database2023

    • Author(s)
      Yunarso Anang, Lya H. Suadaa, Lutfi R. Maghfiroh, Nori Wilantika, Masakazu Takahashi, Yoshimichi Watanabe
    • Journal Title

      Proc.of the 9th International Conference on Advanced Technology Innovation 2024

      Volume: -

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A creation method of comprehensive cases and specifications for hardware and software combined test to detect undesirable events of an industrial product using HAZOP2022

    • Author(s)
      Takahashi Masakazu、Ueno Kouji、Anang Yunarso、Watanabe Yoshimichi
    • Journal Title

      SICE Journal of Control, Measurement, and System Integration

      Volume: 15 Issue: 2 Pages: 50-63

    • DOI

      10.1080/18824889.2022.2069914

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A Proposal of Hazard Analysis Method Using Structured System Theoretical Process Analysis2022

    • Author(s)
      Masakazu Takahashi, Daiki Morimoto, Yunarso Anang, Yoshimichi Watanabe
    • Journal Title

      Proceedings of the SICE Annual Conference 2022

      Volume: NA Pages: 1220-1225

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] A Proposal of Structured System Theoretic Process Analysis applicable for the whole system development process2022

    • Author(s)
      Masakazu Takahashi, Yunarso Anang ,Yoshimichi Watanabe
    • Journal Title

      Proc. of 27th International QFD Symposium, ISQFD 2022 - Tokyo

      Volume: NA Pages: 14-26

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] A measurement method suitable for the software 2.0 quality model2022

    • Author(s)
      Yoshimichi Watanabe, Yunarso Anang, Masakazu Takahashi
    • Journal Title

      Proc. of 27th International QFD Symposium, ISQFD 2022 - Tokyo

      Volume: NA Pages: 27-37

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] AI Risk Assessment using Failure Mode and Effect Analysis (FMEA) based on AI Incident Database2024

    • Author(s)
      Yunarso Anang
    • Organizer
      The 9th International Conference on Advanced Technology Innovation 2024
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] A Proposal of Hazard Analysis Method Using Structured System Theoretical Process Analysis2022

    • Author(s)
      Masakazu Takahashi
    • Organizer
      SICE Annual Conference 2022
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] A Proposal of Structured System Theoretic Process Analysis applicable for the whole system development process2022

    • Author(s)
      Masakazu Takahashi
    • Organizer
      27th International QFD Symposium, ISQFD 2022 - Tokyo
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Remarks] 山梨大学研究者総覧

    • URL

      https://eradb-ref.yamanashi.ac.jp/html/100007763_ja.html?k=%E9%AB%98%E6%A9%8B%E3%80%80%E6%AD%A3%E5%92%8C

    • Related Report
      2023 Research-status Report
  • [Remarks] 山梨大学研究者総覧

    • URL

      http://nerdb-re.yamanashi.ac.jp/Profiles/337/0033655/profile.html

    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi