2020 Fiscal Year Annual Research Report
On Dataset Diversity for Achiving High Reliability of Machine Learning Software
| Project/Area Number |
18H03224
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
中島 震 国立情報学研究所, 大学共同利用機関等の部局等, 名誉教授 (60350211)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ソフトウェア工学 / ソフトウェア・テスティング / ニューラル・ネットワーク / ディペンダビリティ |
|---|
| Outline of Annual Research Achievements |
手書き数字画像分類（MNISTデータセット）の教師あり学習を行うニューラル・ネットワークを対象として、データセット多様性に基づくメタモルフィック・テスティングの新しい方法を提案し、その有効性を実験によって確認した。また新規の成果として、統計的なテスティングの方法との関係を明らかにした。従来から、複雑なプログラムではテスト条件を網羅することが困難であり、ランダムテスティングを補う系統的な方法として仮説検定に基づく統計的なテスィングの方法が知られていた。一方、機械学習ソフトウェアの特徴は統計的な手法によって近似的な入出力関係を得ることにある。つまり、統計的な方法に基づくという共通性があることから、機械学習ソフトウェアに統計的なテスティングを応用可能などうかが研究者の間で話題となっていた。本研究は、統計的なメタモルフィックテスティングの一般的な枠組みを提案し、デザイン多様性とメタモルフィックテスティングを統一的に取り扱うことを可能とした。実験によって、前年度までに提案したセマンティックノイズに基づくテスト入力生成方法と統計的なメタモルフィックテスティングを組み合わせる方法の有効性を確認した。また、デザイン多様性を応用することで、複数の学習モデルを比較することができることを実験で確認した。また、SQuaREデータ品質モデルを拡張することで、機械学習で重要となる学習データの品質を考察する枠組みを整理した。
以上の研究成果を国際会議で発表した。また、これまでの成果を整理して、一般の技術書を公刊した。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
| Remarks |
Researchmap https://researchmap.jp/nkjm/
|
