| 研究課題/領域番号 |
18H03224
|
|---|
| 研究機関 | 国立情報学研究所 |
|---|
研究代表者 |
中島 震 国立情報学研究所, 情報社会相関研究系, 教授 (60350211)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | ソフトウェア工学 / ソフトウェア・テスティング / ニューラル・ネットワーク / ディペンダビリティ |
|---|
| 研究実績の概要 |
手書き数字分類（MNISTデータセット）の教師あり学習を行うニューラル・ネットワークを対象として、データセット多様性に基づくメタモルフィック・テスティングの新しい方法を提案し、その有効性を実験によって確認した。前年度に提案した方法を再考して、セマンティック・ノイズに基づく新しいフォローアップ入力生成法とニューロンの内部活性状態に着目した新しい検査性質を提案し、実験を行って提案方法の有効性を確認した。
前年度の方法は、検査対象のネットワーク構造に関わる情報を利用する「ホワイトボックス法」であり、適用可能なネットワークに制限があった。新しい方法では、セマンティック・ノイズ生成を最適化問題として定式化することで「ブラックボックス法」による検査を可能とした。原理的に、どのような種類のネットワークにも適用できる。また、既存の他研究は、検査性質に、予測分類の確からしさ、あるいは、この確からしさから計算できる値を用いていることから、間接的な検査にならざるを得ない。本研究の検査性質は、訓練済み学習モデルのニューロンの内部活性状態から計算する統計指標を検査対象とするので、訓練済み学習モデルの欠陥の有無を直接的に調べることが可能となる。
以上の研究成果を国際会議で発表した。うち１件はメタモルフィック・テスティングの考案者であるChen教授との国際共著である。また、これらの検査技術をもとに、機械学習ソフトウェアの品質保証レベルを第3者評価する枠組みを整理し、国際学会で発表した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
提案したテスティング手法（テスト入力法ならびに検査対象指標の定義）は他の研究にない独自なものであり、その成果は、ソフトウェア・テスティングの研究分野への大きな貢献となる。実際、２件の国際会議論文が採択された。また、国際会議では、EUで始まった新しいプロジェクトAI4EUの研究者と議論し、本研究課題の成果が、世界的に先行することを確認した。
|
| 今後の研究の推進方策 |
２つの方向で研究を発展させることを計画している。第１は統計的なテスティングの方法を組み合わせることで検査結果の判断の確信レベルを定量的に示すこと、第２は検査対象ネットワークを広げること、である。以上によって、提案のテスティング方法論の有用性を高めることが可能になる。
|
