ドメインシフトを解決する深層ネットワークアーキテクチャの設計

2022 Fiscal Year Research-status Report

• Project/Area Number: 21K17756
• Research Institution: Tohoku University
• Principal Investigator: 菅沼 雅徳 東北大学, 情報科学研究科, 助教 (00815813)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 深層学習 / 画像分類 / ニューラル構造探索 / ドメインシフト / 画像劣化

Outline of Annual Research Achievements

申請当初の研究計画に従い，研究を進めている．
昨年度同様，画像認識における主要な深層学習モデルである畳み込みニューラルネットワーク（CNN）に関して，ドメインシフト（画像劣化）に対する頑健性を実験的に調べた．具体的には，これまでに提案されてきた様々なCNNモデルに対して，画像劣化が各モデルにどのような影響を与えるのかを実験的に調査した．結果として，どのようなネットワークの構成要素，どのようなそれらの組み合わせがより優れた頑健性を示すのか，一定の成果を得ることができた．また，CNNのネットワーク構造だけでなく，画像劣化を引き起こす外乱の種類によっても，画像分類の性能が大きく変化することも発見した．
また，CNNだけでなく，近年CNNに比肩する性能を示し，注目を集めているVision Transformerについても，その画像劣化に対する頑健性を検証している．まずは，どのようなVision Transformerの構造が優れた頑健性を示すのかを網羅的に検証するために，Vision Transformerのための構造探索手法の開発を試みた．なお，一般的には，深層学習モデルの構造探索には膨大な計算コストが必要となるため，効率的な探索手法の開発が必要となる．そこで，今年度は効率的なVision Transformerの構造探索手法の開発に注力した．結果として，既存研究より効率の良い探索が実現可能になったが，まだ改善の余地があるため，引き続き改良を行っていく予定である．また，効率的な探索手法が確立した後，画像劣化によるドメインシフトへの頑健性を調査する予定である．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

自動構造探索手法を用いた，ドメインシフトに対する頑健性の性能評価は，やや予定よりも遅れた進捗となっている．進捗が遅れている主な理由は，Vision Transformerの効率的な構造探索手法の開発が若干難航しているためである．

Strategy for Future Research Activity

網羅的な評価実験を行うために，まずは効率的な構造探索手法の確立を目指す．それから，どのような構造要素がどれほど，どのようなメカニズムによって，頑健性の向上に寄与しているのかの解釈を進めていく．これにより，最終目標であるドメインシフト（画像劣化）に頑健なネットワーク構造のデザインの一般的な方法論を見出す．
また，最近ではあらゆる問題にVision Transformerが適用され，そのいくつかでCNNよりも優れた性能を示しつつある．こういった最新の研究動向も踏まえつつ，研究計画を柔軟に修正しながら，研究を遂行していく．