• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

機械学習ソフトウェアの高信頼化に関わるデータセット多様性の研究

研究課題

研究課題/領域番号 18H03224
研究機関国立情報学研究所

研究代表者

中島 震  国立情報学研究所, 情報社会相関研究系, 教授 (60350211)

研究期間 (年度) 2018-04-01 – 2021-03-31
キーワードソフトウェア工学 / ソフトウェア・テスティング / ニューラル・ネットワーク / ディペンダビリティ
研究実績の概要

手書き数字分類(MNISTデータセット)の教師あり学習を行うニューラル・ネットワークを対象として、データセット多様性に基づくメタモルフィック・テスティングの一つの方法を提案し、その有効性を実験によって確認した。データセット多様性の考え方を導入する目的で、既存のメタモルフィック・テスティングのフォローアップ入力生成法の定義を拡張した。この方法をメタモルフィック・テスティングの考案者であるT. Chen教授を訪問して議論し、今後、共同研究を進めることになった。
MNISTデータセットに対する具体的な方法では、フォローアップ入力の生成に、グラフ探索アルゴリズムを用いた。訓練済み学習モデルをグラフとみなし、特定の出力値(分類結果)に大きな影響を与える入力属性を決定論的なアルゴリズムで求めるものである。得られた入力属性値に摂動値を加えることで、特定の入力属性の値を変更した新たな入力ベクタを得ることができる。この方法を当初の訓練データセット(MNISTデータセット)の全ての入力ベクタに適用することで、摂動を加えた新しいデータセットを得る。このデータセットは、もとの学習問題の特徴(手書き数字)を保存する一方で、当初のMNIST訓練データセットとは異なる数値情報を持つ入力ベクタから構成される。すなわち、データセット多様性の考え方にしたがうフォローアップ入力となる。上記の方法は、グラフ探索によることから、フォローアップ入力生成データを、効率良く得ることが可能である。
上記の実験結果をまとめた研究成果を、国際ワークショップSOFL+MSVL2018で発表した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

提案したデータセット多様性に基づくニューラル・ネットワークのメタモルフィック・テスティングの実験が成功した。おそらく正しいと信じられるプログラムと、それに欠陥を意図的に混入したプログラムを用いた比較実験(バグインジェクション法)によって、欠陥を混入したプログラムが奇異な振舞いを示すことを確認した。その研究成果を、国際ワークショップSOFL+MSVL2018で発表し、会議後に出版されるselected papers集に収録され、2月に発刊された。

今後の研究の推進方策

今年度の方法が対象としてニューラル・ネットワークは、古典的な学習モデルであって、比較的単純な構造を持つ。採用したグラフ探索による方法は、その単純な構造に依存した方法になっていた。次年度以降は、構造情報を用いない抽象レベルの高い方法の検討を進め、より複雑なニューラル・ネットワークにも適用が容易な方法を考案し、実験によって、提案方法の効果を考察する。

  • 研究成果

    (9件)

すべて 2019 2018 その他

すべて 国際共同研究 (1件) 雑誌論文 (3件) (うち査読あり 3件) 学会発表 (5件) (うち国際学会 2件、 招待講演 2件)

  • [国際共同研究] Swinburne University of Technology(オーストラリア)

    • 国名
      オーストラリア
    • 外国機関名
      Swinburne University of Technology
  • [雑誌論文] Dataset Diversity for Metamorphic Testing of Machine Learning Software2019

    • 著者名/発表者名
      Shin Nakajima
    • 雑誌名

      Post-Proc. 8th SOFL+MSVL (LNCS)

      巻: - ページ: 21-38

    • DOI

      10.1007/978-3-030-13651-2_2

    • 査読あり
  • [雑誌論文] Quality Assurance of Machine Learning Software2018

    • 著者名/発表者名
      Shin Nakajima
    • 雑誌名

      Proc. IEEE 7th Global Conference on Consumer Electronics

      巻: - ページ: 601-604

    • DOI

      10.1109/GCCE.2018.8574766

    • 査読あり
  • [雑誌論文] データセット多様性のソフトウェア・テスティング2018

    • 著者名/発表者名
      中島震
    • 雑誌名

      コンピュータ・ソフトウェア

      巻: 35 ページ: 26-32

    • DOI

      10.11309/jssst.35.2_26

    • 査読あり
  • [学会発表] 機械学習ソフトウェアの品質評価保証レベル2019

    • 著者名/発表者名
      中島震
    • 学会等名
      電子情報通信学会ソフトウェア・サイエンス研究会
  • [学会発表] 機械学習ソフトウェアの品質:製品, サービス, プラットフォーム2018

    • 著者名/発表者名
      中島震
    • 学会等名
      電子情報通信学会知能ソフトウェア工学研究会
  • [学会発表] Dataset Diversity for Metamorphic Testing of Machine Learning Software2018

    • 著者名/発表者名
      Shin Nakajima
    • 学会等名
      8th International Workshop SOFL+MSVL
    • 国際学会
  • [学会発表] Quality Assurance of Machine Learning Software2018

    • 著者名/発表者名
      Shin Nakajima
    • 学会等名
      IEEE 7th Global Conference on Consumer Electronics
    • 国際学会 / 招待講演
  • [学会発表] 機械学習ソフトウェアの品質保証とは2018

    • 著者名/発表者名
      中島震
    • 学会等名
      機械学習工学研究会キックオフシンポジウム
    • 招待講演

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi