• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

機械学習ソフトウェア等のブラックボックス部分を含むソフトウェアの安全性解析

研究課題

研究課題/領域番号 22K04616
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分25020:安全工学関連
研究機関山梨大学

研究代表者

高橋 正和  山梨大学, 大学院総合研究部, 教授 (20403446)

研究分担者 渡辺 喜道  山梨大学, 大学院総合研究部, 教授 (00210964)
研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2024年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワードハザード / ハザード解析 / STPA / FMEA / AI機能 / Structured STPA (SSTPA) / 安全性 / 安全性解析 / ソフトウェア / FRAM
研究開始時の研究の概要

知的制御ソフトウェアを構成するMLSWは挙動を完全に把握することが困難なため,知的制御ソフトウェアが想定外の挙動を生じ,事故を引き起こしている.本申請では,MLSW部分の検証手法,MLSWの制御ソフトウェアへの組込み手法,知的制御ソフトウェアの安全性解析手法(FMEA,FTA,HAZOP,STPA,FRAM)を確立する.これらの手法を知的制御ソフトウェアに適用することで高い安全性と性能を実現し,社会生活の安全化と高度化に貢献する.

研究実績の概要

令和5年度は、複雑な構成を有するシステムのハザード発生原因を分析する手法について研究した.主要な成果は以下の通りである.
(1)階層化STPAの提案: システム開発の上流工程において,システムを構成する要素(以降,コンポーネント)の間の相互作用により発生するハザードの原因分析を行う手法であるSystem-Theoretic Process Analysis(以降,STPA)をシステムの全開発工程に適用できるように拡張した.通常のSTPAでは取り扱うコンポーネントの個数は5-6個程度が推奨されている.しかし,これでは多数のコンポーネントからなる複雑なシステムのハザードの原因を分析することができない.そこで,コンポーネントを階層的に記述できるようにSTPAを拡張した.その結果,システム開発の進展に伴い,各コンポーネントを段階的に詳細化と追加をして定義していくことで,全開発工程でハザード解析をシームレスに行うことができるようになった.
(2)AIを用いたシステムのFMEAの提案: システムに対して,発生する可能性のある故障を網羅的に検討する手法であるFailure Mode and Effects Analysis(以降,FMEA)をAI技術を用いた機能を含むシステムの故障解析に適用する方法を提案した.AI技術を用いた機能で起こりうる故障モード(判断結果の誤りの種類)を分類し,リスト化した.そのリストを用いて,FMEAを行うことで,システムが生じる故障を予測できるようにした.
(3)AIを用いたシステムの品質モデルの提案: 様々な産業,業務ドメインのソフトウェアに含まれるAI技術を利用した機能に対して求められる品質特性をドメインごとに分類と整理をした.さらに,ドメインごとに重点品質特性に対してSTPAやFMEAを実施する方法を検討した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

令和5年度は複雑な構成のシステム向けのSTPA,AI機能を含むシステムのFMEA,ドメインごとのAI機能に求められるAIの品質特性について研究した.以上のことから,複雑かつAI機能を含むシステムのハザード解析ができるようになった.今後は,これらの手法を様々な実システムに適用し,提案した手法の評価を行う.さらに,問題点があれば,上述の研究結果に反映させる.これにより提案手法の有効性を高めていく.
さらに,システムの機能が共鳴することで想定外の大きな出力が生じることでシステムの安全が脅かされるような状況となる可能性があるかを分析する手法であるFunctional Resonance Analysis Method(以降,FRAM)についての調査を開始した.今後はFRAMを複雑かつAI機能を有するシステムに適用する方法を検討する.
令和5年度の進捗は,ほぼ当初の計画通りである.ただし,FRAMに関する調査と研究が,先行研究や適用事例が少ないためやや遅れている.

今後の研究の推進方策

令和6年度は本研究の最終年度であるため,以下の方針で研究を行う.
(1)複雑な構成でAI機能を有するシステムのハザード解析: 本項目については令和5年度までに実施した成果を融合し,実システムのハザード解析を実施する.適用する実システムは組込みシステムを想定している.これは,組込みシステムの場合,複雑な機能に起因する故障(例えば,多重割込み発生時の処理の不具合,想定外の入力データによる計算結果の不具合,システムの資源の取り合いによる処理の遅延による不具合など)のハザード解析を必要としているためである.さらに,近年ではAI機能を搭載した自動運転車やドローンなどが開発されるようになり,AI機能の計算結果に起因するハザードが問題となっているためである.
(2)複雑な構成でAI機能を有するシステムへのFRAMの適用: 上記で例示したハザードの発生は,必ずしもコンポーネント本体の不具合だけとは限らない.例えば,想定外のタイミングで,同時に複数の機能の出力が過剰となり,それらの出力を用いてシステムの制御を行った結果,システムが不安全な状態に陥るような状況(通常は同時に計算結果が得られることが無いと仮定してシステムが設計されていると仮定)について,FRAMを用いてハザード発生の可能性を予測する方法を研究する.

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (14件)

すべて 2024 2023 2022 その他

すべて 国際共同研究 (2件) 雑誌論文 (7件) (うち国際共著 7件、 査読あり 7件、 オープンアクセス 4件) 学会発表 (3件) (うち国際学会 3件) 備考 (2件)

  • [国際共同研究] Politeknik Statistika STIS(インドネシア)

    • 関連する報告書
      2023 実施状況報告書
  • [国際共同研究] Politeknik Statistika STIS(インドネシア)

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] Quality Model and Quality Characteristics Evaluation Suitable for Software 2.02024

    • 著者名/発表者名
      Yoshimichi Watanabe, Yunarso Anang, Masakazu Takahashi
    • 雑誌名

      International Journal of Engineering and Technology Innovation

      巻: -

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] A proposal of hazard analysis method using structured system theoretical process analysis2023

    • 著者名/発表者名
      Takahashi Masakazu、Morimoto Daiki、Anang Yunarso、Watanabe Yoshimichi
    • 雑誌名

      SICE Journal of Control, Measurement, and System Integration

      巻: 16 号: 1 ページ: 192-202

    • DOI

      10.1080/18824889.2023.2198476

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] AI Risk Assessment using Failure Mode and Effect Analysis (FMEA) based on AI Incident Database2023

    • 著者名/発表者名
      Yunarso Anang, Lya H. Suadaa, Lutfi R. Maghfiroh, Nori Wilantika, Masakazu Takahashi, Yoshimichi Watanabe
    • 雑誌名

      Proc.of the 9th International Conference on Advanced Technology Innovation 2024

      巻: -

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] A creation method of comprehensive cases and specifications for hardware and software combined test to detect undesirable events of an industrial product using HAZOP2022

    • 著者名/発表者名
      Takahashi Masakazu、Ueno Kouji、Anang Yunarso、Watanabe Yoshimichi
    • 雑誌名

      SICE Journal of Control, Measurement, and System Integration

      巻: 15 号: 2 ページ: 50-63

    • DOI

      10.1080/18824889.2022.2069914

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] A Proposal of Hazard Analysis Method Using Structured System Theoretical Process Analysis2022

    • 著者名/発表者名
      Masakazu Takahashi, Daiki Morimoto, Yunarso Anang, Yoshimichi Watanabe
    • 雑誌名

      Proceedings of the SICE Annual Conference 2022

      巻: NA ページ: 1220-1225

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] A Proposal of Structured System Theoretic Process Analysis applicable for the whole system development process2022

    • 著者名/発表者名
      Masakazu Takahashi, Yunarso Anang ,Yoshimichi Watanabe
    • 雑誌名

      Proc. of 27th International QFD Symposium, ISQFD 2022 - Tokyo

      巻: NA ページ: 14-26

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] A measurement method suitable for the software 2.0 quality model2022

    • 著者名/発表者名
      Yoshimichi Watanabe, Yunarso Anang, Masakazu Takahashi
    • 雑誌名

      Proc. of 27th International QFD Symposium, ISQFD 2022 - Tokyo

      巻: NA ページ: 27-37

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / 国際共著
  • [学会発表] AI Risk Assessment using Failure Mode and Effect Analysis (FMEA) based on AI Incident Database2024

    • 著者名/発表者名
      Yunarso Anang
    • 学会等名
      The 9th International Conference on Advanced Technology Innovation 2024
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] A Proposal of Hazard Analysis Method Using Structured System Theoretical Process Analysis2022

    • 著者名/発表者名
      Masakazu Takahashi
    • 学会等名
      SICE Annual Conference 2022
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] A Proposal of Structured System Theoretic Process Analysis applicable for the whole system development process2022

    • 著者名/発表者名
      Masakazu Takahashi
    • 学会等名
      27th International QFD Symposium, ISQFD 2022 - Tokyo
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [備考] 山梨大学研究者総覧

    • URL

      https://eradb-ref.yamanashi.ac.jp/html/100007763_ja.html?k=%E9%AB%98%E6%A9%8B%E3%80%80%E6%AD%A3%E5%92%8C

    • 関連する報告書
      2023 実施状況報告書
  • [備考] 山梨大学研究者総覧

    • URL

      http://nerdb-re.yamanashi.ac.jp/Profiles/337/0033655/profile.html

    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi