ドメインシフトを解決する深層ネットワークアーキテクチャの設計

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K17756
• Research Institution: Tohoku University
• Principal Investigator: 菅沼 雅徳 東北大学, 情報科学研究科, 助教 (00815813)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 深層学習 / 画像修復 / 自動構造探索 / 画像分類

Outline of Annual Research Achievements

申請当初の研究計画に従い，研究を進めている．
一つ目は，現在幅広く使用されている畳み込みニューラルネットワーク（CNN）の構造要素について，ドメインシフト（画像劣化）に対する頑健性を実験的に調べた．具体的には，これまでに提案されてきた様々なCNNに対して，画像劣化が画像分類性能にどのような影響を与えるのかを実験的に調べた．結果として，どのようなネットワークの構成要素，どのようなそれらの組み合わせがより優れた頑健性を示すのか，一定の成果を得ることができた．また，CNNのネットワーク構造だけでなく，画像劣化を引き起こす外乱の種類によっても，画像分類の性能が大きく変化することも判明した．
続いて，より広範囲にCNNのネットワーク構造の探索を行うために，新たな探索空間の設計を行い，さらに網羅的にネットワーク構造の探索ならびにその画像劣化に対する頑健性を実験的に調べている．
また，CNNだけでなく近年注目を集めているTransformerについても，その入力データの劣化に対する頑健性を検証している．TransformerはCNNとは構造が大きく異なるため，Transformerに適した構造の探索空間を新しく提案し，構造探索ならびに劣化に対する頑健性を実験的に調べた．その結果，特定の構造要素をもつTransformerは優れた頑健性をもつことを実験的に示すことが判明した．成果は国内会議に投稿予定である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ネットワーク構造による頑健性の性能評価は，上述したように予定通りの進捗となっている．
特に，CNNだけでなくTransformerについても検証が行えており，一定以上の成果が得られている．

Strategy for Future Research Activity

今年度挙げた成果をもとに，どのような構造要素がどれほど，どのようなメカニズムによって，頑健性の向上に寄与しているのかの解釈を進めていく．これにより，最終目標であるドメインシフト（画像劣化）に頑健なネットワーク構造のデザインの一般的な方法論を見出す．
また，最近ではあらゆる問題にTransformerが適用され，そのいくつかでCNNよりも優れた性能を示しつつある．こういった最新の研究動向も踏まえつつ，研究計画を柔軟に修正しながら，研究を遂行していく．