2018 Fiscal Year Annual Research Report
On Dataset Diversity for Achiving High Reliability of Machine Learning Software
| Project/Area Number |
18H03224
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
中島 震 国立情報学研究所, 情報社会相関研究系, 教授 (60350211)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ソフトウェア工学 / ソフトウェア・テスティング / ニューラル・ネットワーク / ディペンダビリティ |
|---|
| Outline of Annual Research Achievements |
手書き数字分類（MNISTデータセット）の教師あり学習を行うニューラル・ネットワークを対象として、データセット多様性に基づくメタモルフィック・テスティングの一つの方法を提案し、その有効性を実験によって確認した。データセット多様性の考え方を導入する目的で、既存のメタモルフィック・テスティングのフォローアップ入力生成法の定義を拡張した。この方法をメタモルフィック・テスティングの考案者であるT. Chen教授を訪問して議論し、今後、共同研究を進めることになった。
MNISTデータセットに対する具体的な方法では、フォローアップ入力の生成に、グラフ探索アルゴリズムを用いた。訓練済み学習モデルをグラフとみなし、特定の出力値（分類結果）に大きな影響を与える入力属性を決定論的なアルゴリズムで求めるものである。得られた入力属性値に摂動値を加えることで、特定の入力属性の値を変更した新たな入力ベクタを得ることができる。この方法を当初の訓練データセット（MNISTデータセット）の全ての入力ベクタに適用することで、摂動を加えた新しいデータセットを得る。このデータセットは、もとの学習問題の特徴（手書き数字）を保存する一方で、当初のMNIST訓練データセットとは異なる数値情報を持つ入力ベクタから構成される。すなわち、データセット多様性の考え方にしたがうフォローアップ入力となる。上記の方法は、グラフ探索によることから、フォローアップ入力生成データを、効率良く得ることが可能である。
上記の実験結果をまとめた研究成果を、国際ワークショップSOFL+MSVL2018で発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
提案したデータセット多様性に基づくニューラル・ネットワークのメタモルフィック・テスティングの実験が成功した。おそらく正しいと信じられるプログラムと、それに欠陥を意図的に混入したプログラムを用いた比較実験（バグインジェクション法）によって、欠陥を混入したプログラムが奇異な振舞いを示すことを確認した。その研究成果を、国際ワークショップSOFL+MSVL2018で発表し、会議後に出版されるselected papers集に収録され、２月に発刊された。
|
| Strategy for Future Research Activity |
今年度の方法が対象としてニューラル・ネットワークは、古典的な学習モデルであって、比較的単純な構造を持つ。採用したグラフ探索による方法は、その単純な構造に依存した方法になっていた。次年度以降は、構造情報を用いない抽象レベルの高い方法の検討を進め、より複雑なニューラル・ネットワークにも適用が容易な方法を考案し、実験によって、提案方法の効果を考察する。
|
