• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

機械学習システムを高信頼化するNバージョン構成手法の研究

研究課題

研究課題/領域番号 22K17871
研究種目

若手研究

配分区分基金
審査区分 小区分60050:ソフトウェア関連
研究機関筑波大学

研究代表者

町田 文雄  筑波大学, システム情報系, 准教授 (50842209)

研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2024年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2022年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
キーワードNバージョン機械学習システム / 信頼性 / 多様性 / 確率モデル / 多様化 / ニューロンカバレッジ / 機械学習システム / Nバージョン構成
研究開始時の研究の概要

機械学習を組み込んだ情報システムの応用が広がり、システム設計における品質管理の課題が生じている。特に自動運転車などの高信頼性が要求されるシステムでは機械学習の出力の不確実性を考慮したシステムの品質設計に課題がある。本研究では従来ソフトウェア信頼性工学の分野で用いられたNバージョン構成手法を応用し、機械学習システムを高信頼化する設計手法を提案する。Nバージョン構成法の有効性は経験的に知られているが、その原理は究明に至っておらず、最適な構成の決定手法は未解決の課題である。本研究ではNバージョン構成法による多様性とシステムの出力の信頼性の関係を明らかにすることで最適な構成を決定する手法を開発する。

研究実績の概要

本研究では多様な入力データと多様な機械学習機能を組み合わせて構成されるNバージョン機械学習システムによる信頼性向上効果を究明することを目的としている.Nバージョン機械学習システムでシステムの出力の信頼性が向上することはこれまで実験的に確かめられていたが,信頼性向上の条件や原理の究明に課題があった.2023年には,2バージョン機械学習システムにおいて,モデルの多様性と入力データの多様性を用いてシステムの出力の信頼性を特徴づける一般的な理論モデルを論文発表した.本研究成果は学術雑誌IEEE Transactions on Emerging Topics of Computingに採録され,プレスリリースを公開した.一方,理論的なモデルが実際の機械学習システムの信頼性推定に応用可能であることを検証するため,交通標識データセットを用いた画像分類システムの信頼性評価を実施した.3バージョン画像分類システムの異なるアーキテクチャの信頼性を多様性指標に基づいて適切に推定できることが確かめられた.本研究成果は国際会議ISSRE2023で発表した.さらに,他入力機械学習システムの信頼性向上効果と性能オーバーヘッドの関係を明らかにするため,実機システムで性能評価実験を行った.2入力機械学習システムを実現するアーキテクチャとして並列型と共有型を実装し性能を比較することで,並列型と共有型それぞれの優位性を明らかにした.本研究成果は国際学会PRDC2023で論文発表し,論文賞を受賞した.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

本研究ではNバージョン機械学習システムによる高信頼化に関し,①信頼性向上のための入力データ多様化方法,②多様な入力と機械学習機能の組み合わせ手法,および③時間的な多様性変化も考慮した出力決定方法について研究する.これまでの研究により,①②の研究について概ね研究が完了し,さらに発展的な課題に取り組んでいる.①についてはニューロンカバレッジ向上率と画像の類似度に着目した効果的なデータ多様化方法について研究した.②については2バージョン機械学習システムの信頼性を多様性指標で特徴づける一般的な理論モデルを構築した.一般のNの場合についても信頼性評価モデルを開発し,現在成果を論文投稿中である.③についてはこれまで多数決手法のみを考慮していたが,重み付き多数決手法で信頼性を向上する手法の研究に着手している.

今後の研究の推進方策

現在までに得られている研究を仕上げて論文発表することが最終年度の課題である.①②について得られている研究成果は国際会議および国際学術雑誌に投稿する.③については重み付き多数決手法においてどのように重みを与えるかについて検討を進める.重み付け手法については,近年の研究で説明可能AIを用いた手法が提案されている.この研究が機械学習モデルの内部に着目しているのに対し,本研究では,自動運転での応用シナリオを想定し,機械学習システムの外部の要因にも着目し,より安全な運転に寄与する重みづけ方法を検討する.

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (13件)

すべて 2024 2023 2022 その他

すべて 国際共同研究 (1件) 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (10件) (うち国際学会 6件) 備考 (1件)

  • [国際共同研究] University of Luxembourg(ルクセンブルク)

    • 関連する報告書
      2023 実施状況報告書
  • [雑誌論文] Using Diversities to Model the Reliability of Two-version Machine Learning Systems2024

    • 著者名/発表者名
      Machida Fumio
    • 雑誌名

      IEEE Transactions on Emerging Topics in Computing

      巻: ― 号: 3 ページ: 1-15

    • DOI

      10.1109/tetc.2023.3322563

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [学会発表] Reliability and Performance Evaluation of Two-input Machine Learning Systems2023

    • 著者名/発表者名
      K. Wakigami, F. Machida, and P. Tuan
    • 学会等名
      The 28th IEEE Pacific Rim International Symposium on Dependable Computing (PRDC)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Characterizing Reliability of Three-version Traffic Sign Classifier System through Diversity Metrics2023

    • 著者名/発表者名
      Q. Wen and F. Machida
    • 学会等名
      The 34th IEEE International Symposium on Software Reliability Engineering (ISSRE)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Enhancing the Reliability of Perception Systems using N-version Programming and Rejuvenation2023

    • 著者名/発表者名
      J. Mendonca, F. Machida, and M. Volp
    • 学会等名
      DSN Workshop on Dependable and Secure Machine Learning (DSML)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 複数カメラ画像を用いた3バージョン物体検出 システムの信頼性評価2023

    • 著者名/発表者名
      高橋満帆, 町田文雄
    • 学会等名
      日本信頼性学会の第36回秋季信頼性シンポジウム
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Safety-aware Weighted Voting for N-Version Machine Learning Systems2023

    • 著者名/発表者名
      L. Gao and F. Machida
    • 学会等名
      第21回ディペンダブルシステムワークショップ
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Bayesian Network Reliability Modeling for Three-version Machine Learning Systems2023

    • 著者名/発表者名
      Q. Wen and F. Machida
    • 学会等名
      The 53rd Annual IEEE/IFIP International Conference on Dependable Systems and Networks
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Reliability Models and Analysis for Triple-model with Triple-input Machine Learning Systems2022

    • 著者名/発表者名
      Wen Qiang、Machida Fumio
    • 学会等名
      2022 IEEE Conference on Dependable and Secure Computing (DSC)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] How Data Diversification Benefits the Reliability of Three-version Image Classification Systems2022

    • 著者名/発表者名
      Takahashi Mitsuho、Machida Fumio、Wen Qiang
    • 学会等名
      2022 IEEE 27th Pacific Rim International Symposium on Dependable Computing (PRDC)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Nバージョン機械学習分類システムによる分類結果の正確性と安全性評価2022

    • 著者名/発表者名
      町田文雄
    • 学会等名
      日本信頼性学会 第30回春季信頼性シンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 2入力機械学習システムの信頼性と性能評価2022

    • 著者名/発表者名
      脇上和也,町田文雄
    • 学会等名
      第20回ディペンダブルシステムワークショップ (DSW 2022)
    • 関連する報告書
      2022 実施状況報告書
  • [備考] N-version Machine Learning System

    • URL

      https://www.sd.cs.tsukuba.ac.jp/en/n-version_mls.html

    • 関連する報告書
      2023 実施状況報告書 2022 実施状況報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi