2020 Fiscal Year Research-status Report
機械学習モデル多様化による機械学習応用システムの高信頼化設計および評価
| Project/Area Number |
19K24337
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
町田 文雄 筑波大学, システム情報系, 准教授 (50842209)
|
|---|
| Project Period (FY) |
2019-08-30 – 2022-03-31
|
| Keywords | 機械学習応用システム / 多様性 / 信頼性 / 自動運転 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は機械学習を組み込んだ情報システムを高信頼化する技術およびそのシステムを評価するモデル化と解析手法を確立することであった。高信頼化の手法として，一つのシステムで複数の機械学習モデルを導入し，モデル間の多様性を高める手法に着目して研究を行った．
前年度の研究により，異なるアルゴリズムで学習した機械学習モデルに加え，異なる複数の入力を用いることで，システムが最終的に誤った出力を出すことを抑制できることを示した．さらに，学習モデルと入力データの多様性を測る指標を定義し，多様性指標とシステムの信頼性を関係づける評価モデルを構築し，その有効性を示した．一方，前年度に提案した評価モデルは入力データが一様に分布している状況を前提にしている点で課題が残っていた．
今年度は入力データが一様分布でない状況について研究を進め，より一般的な評価モデルを構築した．例えば自動運転車で使われる機械学習モデルは，カメラなどのセンサーから得られる実世界の情報を認識する際に用いられるが，入力されるデータはセンサー毎に異なる分布に従っている．入力データ分布における誤認識の起こしやすさの観点での類似度を多様性指標として定義し，複数の入力データを用いた場合のシステム出力信頼性への影響を評価可能にした．新たな研究成果は学術雑誌へ論文を投稿している．
また，前年度の時点では，複数の機械学習モデルを用いた場合のシステム全体の性能への影響については考慮していなかった．今年度は待ち行列を用いたシステムの性能モデル化により，異なる機械学習システムの冗長化アーキテクチャについて，スループット性能の観点でも比較評価を行った．これにより，システムの信頼性だけでなく，性能とのトレードオフも考慮した機械学習システムの品質評価が可能になる．本研究成果は共同研究者との共著で2021年開催の国際ワークショップで論文発表する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の計画では，(1)機械学習モデルの多様性の概念定義、(2)機械学習モデルの多様性のモデル化と情報システムの信頼性への影響分析，(3)異なるアルゴリズムや学習モデルを用いた機械学習システムの信頼性向上効果の評価，を取り組む課題として挙げた．現在までに主要な研究を完了し，成果をまとめて学術雑誌および国際学会への論文投稿を行っている段階にある．これまでの研究成果を総括した学術雑誌論文は現在投稿中であり，2021年度中の公開を目指している．また，複数の機械学習モデルを用いた機械学習システムの性能モデルの研究については国内学会で論文を発表しており，2021年6月に開催される国際ワークショップでも論文が採択され，成果発表を予定している．
|
| Strategy for Future Research Activity |
本研究により入力データを多様化することでシステムの出力を高信頼化できることが確かめられたが，一方で，どのように入力データを多様化すれば高信頼化につながるのかは新たな疑問として生じてきた．例えば，画像分類を行う機械学習モデルであれば，入力画像を人工的に加工することで機械学習の出力を多様化させることができるが，どのような加工方法が信頼性向上の観点で有効となるのかは判明していない．今後の研究では，この新たな課題へ取り組む．まず入力データの多様化方法について調査と実験的な評価を行い，入力データの多様化方法と信頼性との関係を調べる．実験結果に基づき，本研究で開発した信頼性評価モデルを改良し，入力データの多様化方法とシステムの出力の信頼性との関係をモデル化して評価可能にすることを検討する．
|
| Causes of Carryover |
コロナの影響で予定していた出張がキャンセルになったため．令和３年度の学会発表および学術雑誌掲載にかかる費用として使用する予定．
|
