Attention Mechanism of Convolutional Neural Networks Based on Spatial Bases with Feature Channel Invariance

2023 Fiscal Year Final Research Report

• Project/Area Number: 20K11890
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Kyushu University
• Principal Investigator: Matsukawa Tetsu 九州大学, システム情報科学研究院, 助教 (80747212)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 畳込ネット / 空間基底 / 不変特徴 / 頑健性 / 双線系/グラスマンプーリング / 人物方向推定

Outline of Final Research Achievements

For robustly estimating the orientations of a person in the presence of various clothing textures, as well as considering the effects of shooting conditions like location and weather, the spatial arrangement of local parts can be a crucial factor for precise estimation. Therefore, we focus on channel pooling, which summarizes redundant channel activations in the feature maps of convolutional neural networks. Focusing on the fact that the spatial bases obtained by applying singular value decomposition to a set of images extracted from a feature map in the cross-section of feature channels are invariant to the permutation of the order of feature channels and can be discriminative spatial features, we have proposed Grassmann channel pooling, which represents the subspace of the spatial bases as the feature representation.

Free Research Field

パターン認識

Academic Significance and Societal Importance of the Research Achievements

学術的意義は, 提案手法と従来の双線形プーリングとグラスマンプーリングとの関係性を示し，撮影状況の変動を模擬するスタイル変換に対する頑健性の論拠を示した点, また, 提案手法がスタイル変動への頑健性を高める効果を持つインスタンス正規化と併用した場合でも効果があることを示した点にある.
社会的には, スタイル変動へ頑健な空間概念認識は, 様々な撮影変動の存在下での人物方向推定の頑健性を高めることへ寄与する. 例えば，天候や照明環境, カメラの故障により, 入力される画像の全体的な雰囲気がシステムを学習したデータと異なっていても安定して認識できることは, 誤認識による事故を低減する.