2021 Fiscal Year Research-status Report

機械学習モデル多様化による機械学習応用システムの高信頼化設計および評価

Research Project

Project/Area Number	19K24337
Research Institution	University of Tsukuba
Principal Investigator	町田文雄筑波大学, システム情報系, 准教授 (50842209)
Project Period (FY)	2019-08-30 – 2023-03-31
Keywords	機械学習システム / 信頼性 / 多様性
Outline of Annual Research Achievements	本研究は機械学習を組み込んだ情報システムを高信頼化する技術およびそのシステムを評価するモデル化と解析手法を確立することを目的とした．特に，複数の機械学習モデルをシステムで組み合わせて用い，モデル間の多様性を高めることで高信頼化する手法に着目した研究を行った．これまでの研究の結果，異なるアルゴリズムで学習した機械学習モデルに加え，異なる複数の入力を用いた場合，システムが最終的に誤った出力を出す確率を低減できることを示した．このアプローチによる信頼性の向上効果を定量的に評価するため，学習モデルと入力データの多様性を測る指標を定義し，多様性指標とシステムの信頼性を関係づける評価モデルを構築した．評価モデルの解析により，入力データと機械学習モデルの組み合わせ方によってシステムの信頼性の優劣が定まる条件を導いた．これまでの研究成果は国際学会等で発表しており，学術雑誌に投稿した論文が現在査読中である．昨年度は高信頼化につながる入力データの多様化方法についてさらに研究を進めた．ニューラルネットワークを用いた画像分類タスクを対象に，入力画像を加工してデータを多様化することで信頼性への影響を評価した．その結果，画像加工の適切な組み合わせによって信頼性が向上することが確かめられた．適切な組み合わせを効率よく見つけ出すことが課題だが，画像分類時のニューロンカバレッジが参考指標として使えそうだという手がかりを得ている．今後異なるデータセットなどを用いた検証を進めていく．また前年度までの研究で開発した評価モデルは高々二つのモジュールを組み合わせた場合の機械学習システムを対象としていたが，昨年度は評価モデルを三つのモジュールの場合に拡張して評価を行った．本研究成果は2022年開催の国際会議で論文発表を予定している．
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason 本研究の計画では，(1)機械学習モデルの多様性の概念定義、(2)機械学習モデルの多様性のモデル化と情報システムの信頼性への影響分析，(3)異なるアルゴリズムや学習モデルを用いた機械学習システムの信頼性向上効果の評価，を課題として挙げた．現在までに主要な研究を完了し，成果をまとめて学術雑誌および国際学会への論文投稿を行っている段階にある．これまでの研究成果を総括した学術雑誌論文は現在投稿中であり，2022年度中の公開を目指している．また，評価モデルを三つのモジュールの場合に拡張した研究成果は2022年6月に開催される国際会議IEEE Conference on Dependable and Secure Computingでの発表を予定している．
Strategy for Future Research Activity	昨年度の研究により機械学習システムの信頼性向上に有効な入力データ多様化手法についてニューロンカバレッジを利用するという着想を得た．ニューラルネットワークによる分類タスクに限定された手法になるが，複数の機械学習モデルを利用するよりも低コストに出力の高信頼化を実現する方法として期待できる．現時点ではニューロンカバレッジと多様な入力データを用いた機械学習システムの信頼性の間に相関が見られるという一つの実験結果があるのみであるため，今後異なるデータセットやニューラルネットワークを用いた評価を行い結果をさらに検証する．また三つのモジュールで構成される機械学習システムの信頼性評価モデルをさらに多くのモジュールで構成される場合に拡張することも課題である．現在のモデルではモジュールが増えた場合に考慮しなければならない多様性の指標も増加してしまうため，拡張性が高いとは言えない．多くのモジュールがある場合に，より少ない多様性の指標で近似的に信頼性の向上効果を捉えることができるような評価モデルおよび評価方法を探求していく．
Causes of Carryover	新型コロナウィルス感染症対策で研究成果発表等の予定に変更が生じたため．今年度の学会発表および学術雑誌掲載にかかる費用として使用する予定．