• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

機械学習システムを高信頼化するNバージョン構成手法の研究

Research Project

Project/Area Number 22K17871
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 60050:Software-related
Research InstitutionUniversity of Tsukuba

Principal Investigator

町田 文雄  筑波大学, システム情報系, 准教授 (50842209)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
KeywordsNバージョン機械学習システム / 信頼性 / 多様性 / 確率モデル / 多様化 / ニューロンカバレッジ / 機械学習システム / Nバージョン構成
Outline of Research at the Start

機械学習を組み込んだ情報システムの応用が広がり、システム設計における品質管理の課題が生じている。特に自動運転車などの高信頼性が要求されるシステムでは機械学習の出力の不確実性を考慮したシステムの品質設計に課題がある。本研究では従来ソフトウェア信頼性工学の分野で用いられたNバージョン構成手法を応用し、機械学習システムを高信頼化する設計手法を提案する。Nバージョン構成法の有効性は経験的に知られているが、その原理は究明に至っておらず、最適な構成の決定手法は未解決の課題である。本研究ではNバージョン構成法による多様性とシステムの出力の信頼性の関係を明らかにすることで最適な構成を決定する手法を開発する。

Outline of Annual Research Achievements

本研究では多様な入力データと多様な機械学習機能を組み合わせて構成されるNバージョン機械学習システムによる信頼性向上効果を究明することを目的としている.Nバージョン機械学習システムでシステムの出力の信頼性が向上することはこれまで実験的に確かめられていたが,信頼性向上の条件や原理の究明に課題があった.2023年には,2バージョン機械学習システムにおいて,モデルの多様性と入力データの多様性を用いてシステムの出力の信頼性を特徴づける一般的な理論モデルを論文発表した.本研究成果は学術雑誌IEEE Transactions on Emerging Topics of Computingに採録され,プレスリリースを公開した.一方,理論的なモデルが実際の機械学習システムの信頼性推定に応用可能であることを検証するため,交通標識データセットを用いた画像分類システムの信頼性評価を実施した.3バージョン画像分類システムの異なるアーキテクチャの信頼性を多様性指標に基づいて適切に推定できることが確かめられた.本研究成果は国際会議ISSRE2023で発表した.さらに,他入力機械学習システムの信頼性向上効果と性能オーバーヘッドの関係を明らかにするため,実機システムで性能評価実験を行った.2入力機械学習システムを実現するアーキテクチャとして並列型と共有型を実装し性能を比較することで,並列型と共有型それぞれの優位性を明らかにした.本研究成果は国際学会PRDC2023で論文発表し,論文賞を受賞した.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本研究ではNバージョン機械学習システムによる高信頼化に関し,①信頼性向上のための入力データ多様化方法,②多様な入力と機械学習機能の組み合わせ手法,および③時間的な多様性変化も考慮した出力決定方法について研究する.これまでの研究により,①②の研究について概ね研究が完了し,さらに発展的な課題に取り組んでいる.①についてはニューロンカバレッジ向上率と画像の類似度に着目した効果的なデータ多様化方法について研究した.②については2バージョン機械学習システムの信頼性を多様性指標で特徴づける一般的な理論モデルを構築した.一般のNの場合についても信頼性評価モデルを開発し,現在成果を論文投稿中である.③についてはこれまで多数決手法のみを考慮していたが,重み付き多数決手法で信頼性を向上する手法の研究に着手している.

Strategy for Future Research Activity

現在までに得られている研究を仕上げて論文発表することが最終年度の課題である.①②について得られている研究成果は国際会議および国際学術雑誌に投稿する.③については重み付き多数決手法においてどのように重みを与えるかについて検討を進める.重み付け手法については,近年の研究で説明可能AIを用いた手法が提案されている.この研究が機械学習モデルの内部に着目しているのに対し,本研究では,自動運転での応用シナリオを想定し,機械学習システムの外部の要因にも着目し,より安全な運転に寄与する重みづけ方法を検討する.

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (13 results)

All 2024 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (10 results) (of which Int'l Joint Research: 6 results) Remarks (1 results)

  • [Int'l Joint Research] University of Luxembourg(ルクセンブルク)

    • Related Report
      2023 Research-status Report
  • [Journal Article] Using Diversities to Model the Reliability of Two-version Machine Learning Systems2024

    • Author(s)
      Machida Fumio
    • Journal Title

      IEEE Transactions on Emerging Topics in Computing

      Volume: ― Issue: 3 Pages: 1-15

    • DOI

      10.1109/tetc.2023.3322563

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Presentation] Reliability and Performance Evaluation of Two-input Machine Learning Systems2023

    • Author(s)
      K. Wakigami, F. Machida, and P. Tuan
    • Organizer
      The 28th IEEE Pacific Rim International Symposium on Dependable Computing (PRDC)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Characterizing Reliability of Three-version Traffic Sign Classifier System through Diversity Metrics2023

    • Author(s)
      Q. Wen and F. Machida
    • Organizer
      The 34th IEEE International Symposium on Software Reliability Engineering (ISSRE)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Enhancing the Reliability of Perception Systems using N-version Programming and Rejuvenation2023

    • Author(s)
      J. Mendonca, F. Machida, and M. Volp
    • Organizer
      DSN Workshop on Dependable and Secure Machine Learning (DSML)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 複数カメラ画像を用いた3バージョン物体検出 システムの信頼性評価2023

    • Author(s)
      高橋満帆, 町田文雄
    • Organizer
      日本信頼性学会の第36回秋季信頼性シンポジウム
    • Related Report
      2023 Research-status Report
  • [Presentation] Safety-aware Weighted Voting for N-Version Machine Learning Systems2023

    • Author(s)
      L. Gao and F. Machida
    • Organizer
      第21回ディペンダブルシステムワークショップ
    • Related Report
      2023 Research-status Report
  • [Presentation] Bayesian Network Reliability Modeling for Three-version Machine Learning Systems2023

    • Author(s)
      Q. Wen and F. Machida
    • Organizer
      The 53rd Annual IEEE/IFIP International Conference on Dependable Systems and Networks
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Reliability Models and Analysis for Triple-model with Triple-input Machine Learning Systems2022

    • Author(s)
      Wen Qiang、Machida Fumio
    • Organizer
      2022 IEEE Conference on Dependable and Secure Computing (DSC)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] How Data Diversification Benefits the Reliability of Three-version Image Classification Systems2022

    • Author(s)
      Takahashi Mitsuho、Machida Fumio、Wen Qiang
    • Organizer
      2022 IEEE 27th Pacific Rim International Symposium on Dependable Computing (PRDC)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Nバージョン機械学習分類システムによる分類結果の正確性と安全性評価2022

    • Author(s)
      町田文雄
    • Organizer
      日本信頼性学会 第30回春季信頼性シンポジウム
    • Related Report
      2022 Research-status Report
  • [Presentation] 2入力機械学習システムの信頼性と性能評価2022

    • Author(s)
      脇上和也,町田文雄
    • Organizer
      第20回ディペンダブルシステムワークショップ (DSW 2022)
    • Related Report
      2022 Research-status Report
  • [Remarks] N-version Machine Learning System

    • URL

      https://www.sd.cs.tsukuba.ac.jp/en/n-version_mls.html

    • Related Report
      2023 Research-status Report 2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi