• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

機械学習システムを高信頼化するNバージョン構成手法の研究

研究課題

研究課題/領域番号 22K17871
研究機関筑波大学

研究代表者

町田 文雄  筑波大学, システム情報系, 准教授 (50842209)

研究期間 (年度) 2022-04-01 – 2025-03-31
キーワードNバージョン機械学習システム / 信頼性 / 多様性 / 確率モデル
研究実績の概要

本研究では多様な入力データと多様な機械学習機能を組み合わせて構成されるNバージョン機械学習システムによる信頼性向上効果を究明することを目的としている.Nバージョン機械学習システムでシステムの出力の信頼性が向上することはこれまで実験的に確かめられていたが,信頼性向上の条件や原理の究明に課題があった.2023年には,2バージョン機械学習システムにおいて,モデルの多様性と入力データの多様性を用いてシステムの出力の信頼性を特徴づける一般的な理論モデルを論文発表した.本研究成果は学術雑誌IEEE Transactions on Emerging Topics of Computingに採録され,プレスリリースを公開した.一方,理論的なモデルが実際の機械学習システムの信頼性推定に応用可能であることを検証するため,交通標識データセットを用いた画像分類システムの信頼性評価を実施した.3バージョン画像分類システムの異なるアーキテクチャの信頼性を多様性指標に基づいて適切に推定できることが確かめられた.本研究成果は国際会議ISSRE2023で発表した.さらに,他入力機械学習システムの信頼性向上効果と性能オーバーヘッドの関係を明らかにするため,実機システムで性能評価実験を行った.2入力機械学習システムを実現するアーキテクチャとして並列型と共有型を実装し性能を比較することで,並列型と共有型それぞれの優位性を明らかにした.本研究成果は国際学会PRDC2023で論文発表し,論文賞を受賞した.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

本研究ではNバージョン機械学習システムによる高信頼化に関し,①信頼性向上のための入力データ多様化方法,②多様な入力と機械学習機能の組み合わせ手法,および③時間的な多様性変化も考慮した出力決定方法について研究する.これまでの研究により,①②の研究について概ね研究が完了し,さらに発展的な課題に取り組んでいる.①についてはニューロンカバレッジ向上率と画像の類似度に着目した効果的なデータ多様化方法について研究した.②については2バージョン機械学習システムの信頼性を多様性指標で特徴づける一般的な理論モデルを構築した.一般のNの場合についても信頼性評価モデルを開発し,現在成果を論文投稿中である.③についてはこれまで多数決手法のみを考慮していたが,重み付き多数決手法で信頼性を向上する手法の研究に着手している.

今後の研究の推進方策

現在までに得られている研究を仕上げて論文発表することが最終年度の課題である.①②について得られている研究成果は国際会議および国際学術雑誌に投稿する.③については重み付き多数決手法においてどのように重みを与えるかについて検討を進める.重み付け手法については,近年の研究で説明可能AIを用いた手法が提案されている.この研究が機械学習モデルの内部に着目しているのに対し,本研究では,自動運転での応用シナリオを想定し,機械学習システムの外部の要因にも着目し,より安全な運転に寄与する重みづけ方法を検討する.

次年度使用額が生じた理由

昨年度前倒し請求した額に残額が生じたため次年度使用分が生じた.次年度に学会での論文発表を予定しており,学会参加費に充当する計画である.

  • 研究成果

    (9件)

すべて 2024 2023 その他

すべて 国際共同研究 (1件) 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (6件) (うち国際学会 4件) 備考 (1件)

  • [国際共同研究] University of Luxembourg(ルクセンブルク)

    • 国名
      ルクセンブルク
    • 外国機関名
      University of Luxembourg
  • [雑誌論文] Using Diversities to Model the Reliability of Two-version Machine Learning Systems2024

    • 著者名/発表者名
      Machida Fumio
    • 雑誌名

      IEEE Transactions on Emerging Topics in Computing

      巻: ― ページ: 1~15

    • DOI

      10.1109/TETC.2023.3322563

    • 査読あり
  • [学会発表] Reliability and Performance Evaluation of Two-input Machine Learning Systems2023

    • 著者名/発表者名
      K. Wakigami, F. Machida, and P. Tuan
    • 学会等名
      The 28th IEEE Pacific Rim International Symposium on Dependable Computing (PRDC)
    • 国際学会
  • [学会発表] Characterizing Reliability of Three-version Traffic Sign Classifier System through Diversity Metrics2023

    • 著者名/発表者名
      Q. Wen and F. Machida
    • 学会等名
      The 34th IEEE International Symposium on Software Reliability Engineering (ISSRE)
    • 国際学会
  • [学会発表] Enhancing the Reliability of Perception Systems using N-version Programming and Rejuvenation2023

    • 著者名/発表者名
      J. Mendonca, F. Machida, and M. Volp
    • 学会等名
      DSN Workshop on Dependable and Secure Machine Learning (DSML)
    • 国際学会
  • [学会発表] 複数カメラ画像を用いた3バージョン物体検出 システムの信頼性評価2023

    • 著者名/発表者名
      高橋満帆, 町田文雄
    • 学会等名
      日本信頼性学会の第36回秋季信頼性シンポジウム
  • [学会発表] Safety-aware Weighted Voting for N-Version Machine Learning Systems2023

    • 著者名/発表者名
      L. Gao and F. Machida
    • 学会等名
      第21回ディペンダブルシステムワークショップ
  • [学会発表] Bayesian Network Reliability Modeling for Three-version Machine Learning Systems2023

    • 著者名/発表者名
      Q. Wen and F. Machida
    • 学会等名
      The 53rd Annual IEEE/IFIP International Conference on Dependable Systems and Networks
    • 国際学会
  • [備考] N-version Machine Learning System

    • URL

      https://www.sd.cs.tsukuba.ac.jp/en/n-version_mls.html

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi