• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Reliability evaluation and design for machine learning application systems using diverse machine learning models

Research Project

Project/Area Number 19K24337
Research Category

Grant-in-Aid for Research Activity Start-up

Allocation TypeMulti-year Fund
Review Section 1001:Information science, computer engineering, and related fields
Research InstitutionUniversity of Tsukuba

Principal Investigator

Machida Fumio  筑波大学, システム情報系, 准教授 (50842209)

Project Period (FY) 2019-08-30 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords機械学習システム / 信頼性 / 多様性 / 機械学習応用システム / 自動運転 / 自動運転車
Outline of Research at the Start

近年、機械学習応用システムへの期待が高まっているが、機械学習モデルの出力は本質的に不確実であるため、誤った出力によりシステム全体の信頼性や安全性が損なわれるリスクがある。機械学習応用システムの設計では機械学習モデルの不確実かつ多様な出力を考慮に入れた信頼性設計が必要である。本研究では、一つのシステムに複数の機械学習モデルを導入し、多様性を高めることでシステム全体の信頼性向上を図る手法を研究する。複数の異なる機械学習モデルを用いた場合のシステム全体の信頼性への影響を確率的な解析によって明らかにし、実際に利用可能な機械学習アルゴリズムやデータを用いてその有効性を検証する。

Outline of Final Research Achievements

This research aimed to develop a technique for improving the reliability of information systems employing machine learning components and to establish the models and analysis methods for evaluating such systems. As a means to enhance reliability, the study focused on a system approach using multiple machine learning models for leveraging the diversity of the models. The outcome of the research unveiled that incorrect system outputs can be reduced by using diverse input data in addition to diverse machine learning models. Moreover, this study proposed and showed the effectiveness of the reliability model that formulates the relation between system output reliability and the diversity metrics defined for machine learning models and input data. This study established a new technique for improving the reliability of machine learning systems that is named the N-version machine learning system.

Academic Significance and Societal Importance of the Research Achievements

現在機械学習は様々なシステムで利用され,自動運転など高度な安全性が求められるシステムへの応用も進んでいる.本研究で確立したNバージョン機械学習システムは機械学習応用システムの安全性や信頼性向上に役立てることができる.特に,入力データを多様化して用いる手法は従来手法と比較してより低コストで実現できる高信頼化手法として期待できる.また,本研究では機械学習モデルや入力データの多様性とシステムの出力の信頼性の関係をモデル化して明らかにした.機械学習システムの信頼性がその構成要素や入力の多様性によって特徴づけられるという興味深い結果は信頼性工学の学術会議でも認められ,当該研究分野の発展に貢献した.

Report

(5 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (14 results)

All 2022 2021 2019 Other

All Journal Article (1 results) (of which Open Access: 1 results) Presentation (12 results) (of which Int'l Joint Research: 6 results,  Invited: 2 results) Remarks (1 results)

  • [Journal Article] Using Diversities to Model the Reliability of N-version Machine Learning System2021

    • Author(s)
      Fumio Machida
    • Journal Title

      TechArchive

      Volume: -

    • DOI

      10.36227/techrxiv.16435656.v1

    • Related Report
      2021 Research-status Report
    • Open Access
  • [Presentation] Reliability Models and Analysis for Triple-model with Triple-input Machine Learning Systems2022

    • Author(s)
      Wen Qiang、Machida Fumio
    • Organizer
      2022 IEEE Conference on Dependable and Secure Computing (DSC)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] How Data Diversification Benefits the Reliability of Three-version Image Classification Systems2022

    • Author(s)
      Takahashi Mitsuho、Machida Fumio、Wen Qiang
    • Organizer
      2022 IEEE 27th Pacific Rim International Symposium on Dependable Computing (PRDC)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Nバージョン機械学習分類システムによる分類結果の正確性と安全性評価2022

    • Author(s)
      町田文雄
    • Organizer
      日本信頼性学会 第30回春季信頼性シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 2入力機械学習システムの信頼性と性能評価2022

    • Author(s)
      脇上和也,町田文雄
    • Organizer
      第20回ディペンダブルシステムワークショップ (DSW 2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Reliability Models and Analysis for Triple-model with Triple-input Machine Learning Systems2022

    • Author(s)
      Wen Qiang, Fumio Machida
    • Organizer
      IEEE Conference on Dependable and Secure Computing (DSC)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Nバージョン機械学習モデルによるシステム高信頼化のための入力データ多様化2021

    • Author(s)
      高橋満帆, 町田文雄
    • Organizer
      第19回ディペンダブルシステムワークショップ (DSW 2021)
    • Related Report
      2021 Research-status Report
  • [Presentation] A Queueing Analysis of Multi-model Multi-input Machine Learning Systems2021

    • Author(s)
      Yuta Makino, Tuan Phung-Duc, Fumio Machida
    • Organizer
      Dependable and Secure Machine Learning
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] マルコフ連鎖を用いた多モデル多入力型機械学習システムの性能評価2021

    • Author(s)
      巻野 侑大, Phung-Duc Tuan, 町田 文雄
    • Organizer
      2020年度待ち行列シンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] On the diversity of machine learning models for system reliability2019

    • Author(s)
      Fumio Machida
    • Organizer
      IEEE Pacific Rim Int'l Symp. on Dependable Computing (PRDC)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] N-version machine learning models for safety critical systems2019

    • Author(s)
      Fumio Machida
    • Organizer
      DSN Workshop on Dependable and Secure Machine Learning
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 多様な分類器を用いた機械学習応用システムの信頼性2019

    • Author(s)
      町田文雄
    • Organizer
      日本OR学会「4部合同研究会 ~確率モデルの新展開~」
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] Nバージョンモデルによる機械学習応用システムの高信頼化2019

    • Author(s)
      町田文雄
    • Organizer
      日本ソフトウェア科学会第17回 ディペンダブルシステムワークショップ
    • Related Report
      2019 Research-status Report
    • Invited
  • [Remarks] N-version Machine Learning System

    • URL

      https://www.sd.cs.tsukuba.ac.jp/en/n-version_mls.html

    • Related Report
      2022 Annual Research Report 2021 Research-status Report

URL: 

Published: 2019-09-03   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi