深層学習におけるデータ拡張の戦略的利用法の開発

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K19888
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 高瀬 朝海 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (30844162)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 深層学習 / データ拡張 / 機械学習 / ニューラルネットワーク

Outline of Annual Research Achievements

データ拡張は多くのハイパーパラメータを有しているため、その探索をグリッドサーチを用いて手動で行うと多くの時間とコストがかかってしまう。本研究はその負担を軽減するために、データ拡張の手法選択やハイパーパラメータ決定のための自動化技術を確立することを目的としており、これまでの研究でSelf-paced augmentation法を開発していた。これは、訓練データの中で、データ拡張が学習に効果的であると考えられるサンプルと、そうでないサンプルに分かれているという考えから発想したものであり、訓練誤差の値を指標として、前者のサンプルに対してのみ、データ拡張を適用する手法である。これにより、データ拡張の効率化と高精度化が達成される。本手法のアルゴリズムはヒューリスティックな側面が強く、さらなる改善を行うためには、データ拡張の本質的な部分の理解が必要である。そこで、2021年度は、深層学習の自動化に関する先行研究と本手法との関連性を調査し、本手法に応用可能かどうかを吟味した。特に、AffinityとDiversityというデータ拡張向けの新しく提案された指標を本研究に応用することで、現状のアルゴリズムの高いヒューリスティクスから脱却することが期待されるため、それらを組み入れた手法の設計を行っている。また、ImageNetなどの大規模なデータセットを本研究で利用するためにマルチGPUでの学習を行うためのプログラムの改良を行い、本手法の学習状況や内部の変数の推移をモニタリングするための環境整備を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

提案法であるSelf-paced augmentationを様々な分野・形式のデータで検証する必要があるが、そのためのプログラムの整備を行った。マルチGPUでの学習を行うためのプログラムの改良や、学習状況を可視化するための環境整備を行った。また、Self-paced augmentationのハイパーパラメータを減らし、なおかつ学習性能を向上させるために、データ拡張のサンプル適用の判断に用いることのできる新しい指標について考察を行っている。提案法をより実用的な手法にし、その利用を推進するためには、大規模データや他ドメインのデータの利用、クラス分類以外のタスクにおける実証を行う必要があるが、現時点ではまだそれには取り掛かっておらず、アルゴリズムやプログラムの改良を重ねている段階である。

Strategy for Future Research Activity

現状のSelf-paced augmentationもデータ拡張の自動化を実現しているが、その信頼性を高めるために、昨年度行ったアルゴリズムの改良を引き続き行い、2022年度はそれを完了させる。そのために、AffinityやDiversityなどの新しい指標を利用することを検討している。また、2021年度に今後の予定として挙げていた、サンプルの選択基準となるパラメータを学習中に自動的に適切な値に変化させる方法についても対処する。それが完了次第、多種のニューラルネットワークやデータセットを用いた検証を行う予定である。幅広い実験を行い、提案手法が有効に働く範囲を明確にする。また、データ拡張の自動化の対象を広げ、現在テーマとして扱っているデータ拡張に適切なサンプルの選択だけではなく、データ拡張の種類やパラメータの最適化を自動的に行う手法の開発にも取り組む予定である。

Causes of Carryover

旅費や人件費においてまだ利用されていないため、当該助成金が生じた。翌年度、ABCIの利用費やパソコン周辺機器の購入に主に使用する予定である。