2019 Fiscal Year Annual Research Report
Automated Testing of Deep Learning Systems
| Project/Area Number |
19H04086
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
趙 建軍 九州大学, システム情報科学研究院, 教授 (20299580)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鵜林 尚靖 九州大学, システム情報科学研究院, 教授 (80372762)
亀井 靖高 九州大学, システム情報科学研究院, 准教授 (10610222)
馮 尭楷 九州大学, システム情報科学研究院, 助教 (60363389)
馬 雷 九州大学, システム情報科学研究院, 助教 (70842061)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ソフトウェアテスト / 深層学習システム / 安全性と信頼性 |
|---|
| Outline of Annual Research Achievements |
深層学習 (deep learning, DL) は画像処理、音声認識、囲碁などの応用面で華々しい成功をおさめ、自動運転車やロボットなど、社会基盤に関わる重要な分野での成果が益々期待されている。それと同時に、DLシステムにおける障害が発生する場合、社会と自然に巨大な災害をもたらす可能性があるため、その信頼性に対する要求が益々高くなっている。本研究では、DLシステムにおける系統的な自動テスト技術を確立することを目的としている。具体的には、(1) DLシステムの総合的なテストカバレッジ基準の設計と開発、(2) DLシステムにおける不具合の自動テスト生成フレームワークの構築、(3) DLシステムにおける不具合の自動修正と性能向上技術の開発、(4) 実用DLシステムへの適用より本研究で提案した手法の有効性の検証となっている。本研究の進展により、DLシステムにおける系統的な自動テスト技術とそのテスト支援環境が整い、信頼性の高いDLシステムを構築することが期待できる。本研究ではこれまで得られた主な研究成果は以下の通りである。
1) 深層学習システム（RNN）の総合的なテストカバレッジ基準を設計し、それに基づいて自動的テストシステムを開発した。
2) 完全自動化する深層学習システムのグレイボックス誘導（grey-box guided）テスト生成フレームワークを開発した。
3) 異なる深層学習システム開発のフレームワークを用いて、深層学習システムの開発と展開に対する実証研究を行った。
4) 深層学習システム（CNNとRNN）に対する総合的なミューテーションテスト支援環境を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究では、2019年度の研究について当初の計画以上に進展している理由は次の通りです。
（１）研究項目Aに対して、当初、深層学習システムの総合的なテストカバレッジ基準を設計するという予定ですが、実際に2019年度は、基準の設計とその支援ツールの開発を全部完成した。
（２）研究項目Bに対して、2019年度に、深層学習システムの自動テスト生成フレームワークに関しては、そのツールの開発を部分的に完了する予定ですが、実際に2019年度中に既に全部の開発を完了した。（３）さらに、当初の予定がない、ただ本研究の進行中に必要と認識した異なる深層学習システム開発のフレームワークを用いて、深層学習システムの開発と展開に対する実証研究という内容を追加し、行った。
以上の理由で、本研究に対して、当初の計画以上に進展していることとなっている。
|
| Strategy for Future Research Activity |
本研究では、今後の研究の推進方策は次の通りである。
（１）研究項目Cについて、深層学習システムにおける不具合の自動修正と性能向上技術を開発する。具体的には、(a) データ駆動型深層学習システムにおける不具合の修正手法を提案し、その支援ツールを開発する。(b) 深層学習システムのカスタマイズと最適化手法を提案し、その支援ツールを開発する。
（２）研究項目Dについて、実用システムへの適用より提案した手法の有効性を検証する。具体的には、研究項目A、B、C で提案された深層学習システムの自動テスト関連のソリューションを実用的な深層学習ベースの自動運転ステアリング(steering) 制御システムへ適用し、その有効性を検証する。
|
