2019 Fiscal Year Annual Research Report
On Dataset Diversity for Achiving High Reliability of Machine Learning Software
| Project/Area Number |
18H03224
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
中島 震 国立情報学研究所, 情報社会相関研究系, 教授 (60350211)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ソフトウェア工学 / ソフトウェア・テスティング / ニューラル・ネットワーク / ディペンダビリティ |
|---|
| Outline of Annual Research Achievements |
手書き数字分類（MNISTデータセット）の教師あり学習を行うニューラル・ネットワークを対象として、データセット多様性に基づくメタモルフィック・テスティングの新しい方法を提案し、その有効性を実験によって確認した。前年度に提案した方法を再考して、セマンティック・ノイズに基づく新しいフォローアップ入力生成法とニューロンの内部活性状態に着目した新しい検査性質を提案し、実験を行って提案方法の有効性を確認した。
前年度の方法は、検査対象のネットワーク構造に関わる情報を利用する「ホワイトボックス法」であり、適用可能なネットワークに制限があった。新しい方法では、セマンティック・ノイズ生成を最適化問題として定式化することで「ブラックボックス法」による検査を可能とした。原理的に、どのような種類のネットワークにも適用できる。また、既存の他研究は、検査性質に、予測分類の確からしさ、あるいは、この確からしさから計算できる値を用いていることから、間接的な検査にならざるを得ない。本研究の検査性質は、訓練済み学習モデルのニューロンの内部活性状態から計算する統計指標を検査対象とするので、訓練済み学習モデルの欠陥の有無を直接的に調べることが可能となる。
以上の研究成果を国際会議で発表した。うち１件はメタモルフィック・テスティングの考案者であるChen教授との国際共著である。また、これらの検査技術をもとに、機械学習ソフトウェアの品質保証レベルを第3者評価する枠組みを整理し、国際学会で発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
提案したテスティング手法（テスト入力法ならびに検査対象指標の定義）は他の研究にない独自なものであり、その成果は、ソフトウェア・テスティングの研究分野への大きな貢献となる。実際、２件の国際会議論文が採択された。また、国際会議では、EUで始まった新しいプロジェクトAI4EUの研究者と議論し、本研究課題の成果が、世界的に先行することを確認した。
|
| Strategy for Future Research Activity |
２つの方向で研究を発展させることを計画している。第１は統計的なテスティングの方法を組み合わせることで検査結果の判断の確信レベルを定量的に示すこと、第２は検査対象ネットワークを広げること、である。以上によって、提案のテスティング方法論の有用性を高めることが可能になる。
|
