Extracting Fusion Features of Deep Convolutional Neural Networks Trained on Different Large-scale Datasets

2020 Fiscal Year Final Research Report

• Project/Area Number: 17K20008
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Research Field: Human informatics and related fields
• Research Institution: Kyushu University
• Principal Investigator: Tetsu Matsukawa 九州大学, システム情報科学研究院, 助教 (80747212)
• Project Period (FY): 2017-06-30 – 2021-03-31
• Keywords: 畳込ネット / 学習済みモデル / 特徴転移 / 正規直交化 / 融合 / 双線形プーリング / 画像識別 / カメラ間人物照合

Outline of Final Research Achievements

We have developed feature extraction methods from multiple pre-trained CNNs for transferring the learned representation to various image recognition tasks. First, we have shown that the orthonormalization of the weights of a fully connected layer improves the performance when transferring them to various tasks. We have extracted the localized feature maps of the orthonormalized fully connect layer from two CNNs, and fused them with bilinear pooling. The proposed fusion features achieved comparable or better performance compared with the fusion features of the top convolutional layers with a smaller computational cost. We have also developed a method, which conducts discriminative pooling of the convolutional features with training data of a target task.

Free Research Field

パターン認識

Academic Significance and Societal Importance of the Research Achievements

クラス代表ベクトルの正規直交化は, 対象タスクの学習データを利用せず学習済みのモデルのみから実行可能であるが, 全結合層の特徴をそのまま利用した場合よりも対象タスクでの認識性能が高く，最上位畳み込み層よりも出力される次元数が少ない特徴抽出を可能とする. これを特徴融合に利用することで，計算量が削減された高性能な融合特徴を抽出できる.また, 判別的特徴集積は，小サンプルデータにおいて高速に学習でき, CNNをファインチューニングするよりも有効であった. このように本研究成果は, 学習済みの巨大な深層学習のモデルを, 限られた計算資源で小サンプルデータ問題に適用する場合に有用である.