• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Research-status Report

機械学習システムを高信頼化するNバージョン構成手法の研究

Research Project

Project/Area Number 22K17871
Research InstitutionUniversity of Tsukuba

Principal Investigator

町田 文雄  筑波大学, システム情報系, 准教授 (50842209)

Project Period (FY) 2022-04-01 – 2025-03-31
KeywordsNバージョン機械学習システム / 信頼性 / 多様性 / 確率モデル
Outline of Annual Research Achievements

本研究では多様な入力データと多様な機械学習機能を組み合わせて構成されるNバージョン機械学習システムによる信頼性向上効果を究明することを目的としている.Nバージョン機械学習システムでシステムの出力の信頼性が向上することはこれまで実験的に確かめられていたが,信頼性向上の条件や原理の究明に課題があった.2023年には,2バージョン機械学習システムにおいて,モデルの多様性と入力データの多様性を用いてシステムの出力の信頼性を特徴づける一般的な理論モデルを論文発表した.本研究成果は学術雑誌IEEE Transactions on Emerging Topics of Computingに採録され,プレスリリースを公開した.一方,理論的なモデルが実際の機械学習システムの信頼性推定に応用可能であることを検証するため,交通標識データセットを用いた画像分類システムの信頼性評価を実施した.3バージョン画像分類システムの異なるアーキテクチャの信頼性を多様性指標に基づいて適切に推定できることが確かめられた.本研究成果は国際会議ISSRE2023で発表した.さらに,他入力機械学習システムの信頼性向上効果と性能オーバーヘッドの関係を明らかにするため,実機システムで性能評価実験を行った.2入力機械学習システムを実現するアーキテクチャとして並列型と共有型を実装し性能を比較することで,並列型と共有型それぞれの優位性を明らかにした.本研究成果は国際学会PRDC2023で論文発表し,論文賞を受賞した.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本研究ではNバージョン機械学習システムによる高信頼化に関し,①信頼性向上のための入力データ多様化方法,②多様な入力と機械学習機能の組み合わせ手法,および③時間的な多様性変化も考慮した出力決定方法について研究する.これまでの研究により,①②の研究について概ね研究が完了し,さらに発展的な課題に取り組んでいる.①についてはニューロンカバレッジ向上率と画像の類似度に着目した効果的なデータ多様化方法について研究した.②については2バージョン機械学習システムの信頼性を多様性指標で特徴づける一般的な理論モデルを構築した.一般のNの場合についても信頼性評価モデルを開発し,現在成果を論文投稿中である.③についてはこれまで多数決手法のみを考慮していたが,重み付き多数決手法で信頼性を向上する手法の研究に着手している.

Strategy for Future Research Activity

現在までに得られている研究を仕上げて論文発表することが最終年度の課題である.①②について得られている研究成果は国際会議および国際学術雑誌に投稿する.③については重み付き多数決手法においてどのように重みを与えるかについて検討を進める.重み付け手法については,近年の研究で説明可能AIを用いた手法が提案されている.この研究が機械学習モデルの内部に着目しているのに対し,本研究では,自動運転での応用シナリオを想定し,機械学習システムの外部の要因にも着目し,より安全な運転に寄与する重みづけ方法を検討する.

Causes of Carryover

昨年度前倒し請求した額に残額が生じたため次年度使用分が生じた.次年度に学会での論文発表を予定しており,学会参加費に充当する計画である.

  • Research Products

    (9 results)

All 2024 2023 Other

All Int'l Joint Research (1 results) Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (6 results) (of which Int'l Joint Research: 4 results) Remarks (1 results)

  • [Int'l Joint Research] University of Luxembourg(ルクセンブルク)

    • Country Name
      LUXEMBOURG
    • Counterpart Institution
      University of Luxembourg
  • [Journal Article] Using Diversities to Model the Reliability of Two-version Machine Learning Systems2024

    • Author(s)
      Machida Fumio
    • Journal Title

      IEEE Transactions on Emerging Topics in Computing

      Volume: ― Pages: 1~15

    • DOI

      10.1109/TETC.2023.3322563

    • Peer Reviewed
  • [Presentation] Reliability and Performance Evaluation of Two-input Machine Learning Systems2023

    • Author(s)
      K. Wakigami, F. Machida, and P. Tuan
    • Organizer
      The 28th IEEE Pacific Rim International Symposium on Dependable Computing (PRDC)
    • Int'l Joint Research
  • [Presentation] Characterizing Reliability of Three-version Traffic Sign Classifier System through Diversity Metrics2023

    • Author(s)
      Q. Wen and F. Machida
    • Organizer
      The 34th IEEE International Symposium on Software Reliability Engineering (ISSRE)
    • Int'l Joint Research
  • [Presentation] Enhancing the Reliability of Perception Systems using N-version Programming and Rejuvenation2023

    • Author(s)
      J. Mendonca, F. Machida, and M. Volp
    • Organizer
      DSN Workshop on Dependable and Secure Machine Learning (DSML)
    • Int'l Joint Research
  • [Presentation] 複数カメラ画像を用いた3バージョン物体検出 システムの信頼性評価2023

    • Author(s)
      高橋満帆, 町田文雄
    • Organizer
      日本信頼性学会の第36回秋季信頼性シンポジウム
  • [Presentation] Safety-aware Weighted Voting for N-Version Machine Learning Systems2023

    • Author(s)
      L. Gao and F. Machida
    • Organizer
      第21回ディペンダブルシステムワークショップ
  • [Presentation] Bayesian Network Reliability Modeling for Three-version Machine Learning Systems2023

    • Author(s)
      Q. Wen and F. Machida
    • Organizer
      The 53rd Annual IEEE/IFIP International Conference on Dependable Systems and Networks
    • Int'l Joint Research
  • [Remarks] N-version Machine Learning System

    • URL

      https://www.sd.cs.tsukuba.ac.jp/en/n-version_mls.html

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi