2019 Fiscal Year Research-status Report
機械学習モデル多様化による機械学習応用システムの高信頼化設計および評価
| Project/Area Number |
19K24337
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
町田 文雄 筑波大学, システム情報系, 准教授 (50842209)
|
|---|
| Project Period (FY) |
2019-08-30 – 2021-03-31
|
| Keywords | 機械学習応用システム / 信頼性 / 多様性 / 自動運転車 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は機械学習を組み込んだ情報システムを高信頼化する技術およびそのシステムを評価するモデル化と解析手法を確立することであった。高信頼化の手法として、一つのシステムで複数の機械学習モデルを導入し、モデル間の多様性を高めることで高信頼化する手法に着目した。
現在までの研究により、機械学習システムの出力の高信頼化には、機械学習モデルの多様性だけでなく、機械学習モデルに入力するデータの多様性が重要な役割を果たすことが明らかになった。本研究で対象とする機械学習応用システムは、例えば自動運転車のように、実世界の情報をカメラなどのセンサーで取り込んで認識や推論を行うため、異なるセンサーから異なる入力データを得ることができる。同じ実世界の状態を表しているが、わずかに異なる入力データを用いると、機械学習モデルの出力結果に変化が生じることが確かめられた。例えば、ある画像データから交通標識を正しく認識できなかった場合でも、わずかに角度や位置が異なる画像データであれば正しく認識できる場合がある。つまり、入力データの多様性が増せば、それだけ機械学習の誤りを検出できる可能性が高まることが判明した。
さらに、多様な入力と多様な機械学習モデルを組み合わせた機械学習システムでは、入力データの多様性と、機械学習モデルの多様性でその出力の信頼性が特徴づけられることを明らかにした。これまで機械学習の研究では、異なる学習モデルを組み合わせることで、推論精度の高い学習モデルを構築する手法の研究が多く行われていたが、機械学習モデルを組み込んだソフトウェアシステムの観点で、入力データの多様性まで考慮し、システムの信頼性モデルを考察した研究はなかった。
本研究で明らかにした機械学習システムの性質と高信頼化手法に向けた考察は、高信頼化システムの国際的な会議でも評価され、国内外での発表を通じて研究議論活性化に貢献した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の計画では、(1)機械学習モデルの多様性の概念定義、(2)機械学習モデルの多様性のモデル化と情報システムの信頼性への影響分析、(3)異なるアルゴリズムや学習モデルを用いた機械学習システムの信頼性向上効果の評価、を取り組む課題として挙げた。これらの課題について現在第一段階の研究を終え、一部の成果は既に学会でも論文発表を行った。次の段階では、上記の課題についてより深い考察を進め、包括的に成果をまとめて学術雑誌に論文を投稿することを計画している。具体的には、現在までの研究では入力データの発生確率が一様であるという仮定を暗黙のうちにおいていたが、この仮定を見直し、入力データが一様でない場合の信頼性評価モデルについて研究を進める。
また、本研究の計画では、具体的な応用システムの例として自動運転車を想定することについて述べた。上述の3つの課題に取り組むため、自動運転車が2つ以上のセンサーと2つ以上の機械学習モデルを使って信号を認識するというタスクを想定した。しかし、自動運転車という応用視点でとらえると、本研究で取り組んでいる高信頼化の課題は、品質管理というより大きな問題の一部であるという構造が見えてくる。実際の応用システムの設計においては、どのような場面で高い信頼性が求められるか、また、高信頼化でトレードオフとなるコストは何か、といった総合的な設計の問題を扱わなければならない。学内の若手研究者との議論や、国内の研究会での講演、国際学会における他の研究者との情報交換で、そのような領域に大きなチャレンジがあることも明らかになってきた。応用上考慮しなければならない制約等を考慮した上での高信頼化手法の設計は今後取り組みが必要な課題である。
|
| Strategy for Future Research Activity |
多様性を用いた機械学習システムの信頼性評価モデルのより深い探求と、自動運転車への応用を想定した発展的な研究の二つに取り組む。前者については、これまでの研究により、機械学習システムの出力の信頼性が入力データの多様性と機械学習モデルの多様性によって特徴づけられることが確認できている。しかし、現実的には、入力データの分布や機械学習モデルがどのような入力でエラーとなるかについて、正確な情報を得ることは困難である。本研究ではこれまで入力データの起こりやすさが一様であるという前提を置いて解析を行ってきたが、この前提を緩和した場合に、信頼性と多様性の関係に関する議論が、どこまで一般化できるかについて究明する必要がある。
後者については、自動運転車の安全制御や、情報システムの性能解析等に詳しい若手研究者との議論を通じて、少し視野を広げて発展的な研究を目指して取り組む。本研究の代表者は自動運転自体をこれまで対象に研究してきたわけではないため、その領域の知識には不足がある。学内で連携している他の研究者や国内の研究会等での発表を通じて、足りない知識を補い、また具体的な応用シナリオについてフィードバックを受けながら、これまでの研究における前提の見直しや新たな課題の発見を目指す。
|
