Advancement of Deep Learning by Information Leakage

• Project/Area Number: 21K11971
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Meijo University
• Principal Investigator: HOTTA KAZUHIRO 名城大学, 理工学部, 教授 (40345426)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: 深層学習 / 情報リーク / Feedback / セグメンテーション / Transformer / GAN / マルチタスク / フィードバック / 画像認識

Outline of Research at the Start

本申請研究では、現在の深層学習では利用されていないが、脳内で有効活用されている情報のフィードバックに着目し、フィードバックを他の深層学習器間に一般化した「情報リーク」を用いて学習の効率化や識別精度の向上を図る。具体的には、異なる入力、構造、役割の深層学習器からの情報リークや相互に情報リークを行う方法を研究し、情報リークを用いた新しい認識法を確立する。

Outline of Final Research Achievements

I proposed a new approach based on information leakage to improve the accuracy of image recognition using deep learning. The effectiveness of the proposed method is demonstrated by experiments on various kinds of image datasets. The proposed method is applied to semantic segmentation that classifies all pixels in an image. Since semantic segmentation is demanded in cell biology, the effectiveness of the proposed method is also shown on cell images.

Academic Significance and Societal Importance of the Research Achievements

１つのネットワーク内もしくは他のネットワークから情報をリークすることにより深層学習の精度を改善させるという世界的にも新しい考え方を提案し、様々な画像データセットを用いた評価実験によりその有効性を示した。新しい方向性を打ち出し、有効性を示すことができたので、学術的な意義は大きいと考えられる。また、細胞生物学などの他の分野の画像も利用しているので、異分野への貢献もできた。

Research Products

• [Journal Article] Cell Image Segmentation by Using Feedback and Convolutional LSTM (2021)
  • Author(s): E.Shibuya and K.Hotta
  • Journal Title: The Visual Computer Volume: None Issue: 11 Pages: 1-11
  • DOI: 10.1007/s00371-021-02221-3
  • Peer Reviewed / Open Access
• [Presentation] Improvement of TransUNet UsingWord Patches Created From Different Dataset (2024)
  • Author(s): A.Takama and K.Hotta
  • Organizer: International Conference on Pattern Recognition Applications and Methods (ICPRAM2024)
  • Int'l Joint Research
• [Presentation] Margin Contrastive Learning with Learnable-Vector for Continual Learning (2023)
  • Author(s): K.Nagata and K.Hotta
  • Organizer: ICCV Workshop on Visual Continual Learning
  • Int'l Joint Research
• [Presentation] One-shot and Partially-Supervised Cell Image Segmentation Using Small Visual Prompt (2023)
  • Author(s): S.Kato and K.Hotta
  • Organizer: CVPR Workshop on Computer Vision for Microscopy Image Analysis (CVMI2023)
  • Int'l Joint Research
• [Presentation] Shuffle Mixing: An Efficient Alternative to Self Attention (2023)
  • Author(s): R.Furukawa and K.Hotta
  • Organizer: 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP2023)
  • Int'l Joint Research
• [Presentation] Improvement of Vision Transformer Using Word Patches (2023)
  • Author(s): A.Takama, S.Kato, S.Kamiya, and K.Hotta
  • Organizer: 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP2023)
  • Int'l Joint Research
• [Presentation] Semantic Segmentation by Semi-Supervised Learning Using Time Series Constraint (2023)
  • Author(s): T.Mano, S.Kato and K.Hotta
  • Organizer: 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP2023)
  • Int'l Joint Research
• [Presentation] Class-wise Knowledge Distillation for Lightweight Segmentation Model (2023)
  • Author(s): R.Ikedo, K.Nagata, and K.Hotta
  • Organizer: 16th International Conference on Bio-inspired Systems and Signal Processing (BIOSIGNALS2023)
  • Int'l Joint Research
• [Presentation] 自己蒸留を用いたOnline Class-Incremental Learningの精度向上 (2023)
  • Author(s): 永田耕太郎, 堀田一弘
  • Organizer: DIA2024
• [Presentation] 特徴量の分布に着目した汎用的な細胞画像のセグメンテーションのためのマルチドメイン学習 (2023)
  • Author(s): 土井田啓輔, 堀田一弘
  • Organizer: MIRU2023
• [Presentation] オンライン継続学習のための学習可能ベクトルを用いた対照学習 (2023)
  • Author(s): 永田耕太郎, 堀田一弘
  • Organizer: MIRU2023
• [Presentation] Word Patchesを用いたTransUNetの精度向上 (2023)
  • Author(s): 髙間斐斗, 神谷聡, 堀田一弘
  • Organizer: MIRU2023
• [Presentation] Enhancing Ensemble Learning Networks (2023)
  • Author(s): 古川諒一, 堀田一弘
  • Organizer: MIRU2023
• [Presentation] 未来方向と過去方向のオプティカルフローを用いた半教師あり学習によるセマンティックセグメンテーション (2023)
  • Author(s): 真野嵩大, 神谷聡, 堀田一弘
  • Organizer: MIRU2023
• [Presentation] セマンティックセグメンテーションにおけるAxial-Attentionによる自己知識蒸留 (2023)
  • Author(s): 佐々木孝輔, 堀田一弘
  • Organizer: MIRU2023
• [Presentation] Shuffle Mixing: An Efficient Alternative to Self Attention (2023)
  • Author(s): R.Furukawa and K.Hotta
  • Organizer: 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
  • Int'l Joint Research
• [Presentation] Improvement of Vision Transformer Using Word Patches (2023)
  • Author(s): A.Takama, S.Kato, S.Kamiya, and K.Hotta
  • Organizer: 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
  • Int'l Joint Research
• [Presentation] Semantic Segmentation by Semi-Supervised Learning Using Time Series Constraint (2023)
  • Author(s): T.Mano, S.Kato and K.Hotta
  • Organizer: 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
  • Int'l Joint Research
• [Presentation] Class-wise Knowledge Distillation for Lightweight Segmentation Model (2023)
  • Author(s): R.Ikedo, K.Nagata, and K.Hotta
  • Organizer: 16th International Conference on Bio-inspired Systems and Signal Processing
  • Int'l Joint Research
• [Presentation] LOCAL EMBEDDING FOR AXIAL ATTENTION (2023)
  • Author(s): R.Furukawa and K.Hotta
  • Organizer: IEEE International Conference on Image Processing
  • Int'l Joint Research
• [Presentation] Predicting Human Behavior Using 3D Loop ResNet (2023)
  • Author(s): Y.Kakamu and K.Hotta
  • Organizer: International Conference on Pattern Recognition
  • Int'l Joint Research
• [Presentation] Shuffle Mixing:自己注意の効率的な代替手法 (2022)
  • Author(s): 古川諒一，堀田 一弘
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] 時系列の制約を用いた半教師学習によるセマンティックセグメンテーション (2022)
  • Author(s): 真野嵩大，堀田 一弘
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] Object Queriesを用いたVision Transformer の精度向上 (2022)
  • Author(s): 髙間斐斗，堀田 一弘
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] 対照学習を用いた継続学習における破滅的忘却の軽減と学習の強化 (2022)
  • Author(s): 永田耕太郎，堀田 一弘
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] 自己蒸留によるセマンティックセグメンテーションの精度向上 (2022)
  • Author(s): 安藤 嵩将，堀田 一弘
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] 注意機構を用いた自己蒸留によるセマンティックセグメンテーション (2022)
  • Author(s): 池戸僚汰，永田耕太郎，堀田一弘
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] Axial Attention のための局所埋め込み (2022)
  • Author(s): 古川諒一，堀田一弘
  • Organizer: 画像センシングシンポジウム
• [Presentation] Fusion of Different Features by Cross Cooperative Learning for Semantic Segmentation (2022)
  • Author(s): R.Ikedo and K.Hotta
  • Organizer: International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP2022)
  • Int'l Joint Research
• [Presentation] Localized Feature Aggregation Module for Semantic Segmentation (2021)
  • Author(s): R.Furukawa and K.Hotta
  • Organizer: IEEE International Conference on System, Man and Cybernetics
  • Int'l Joint Research
• [Presentation] Bottleneck構造による3D Loop ResNetを用いた人間の行動予測 (2021)
  • Author(s): 各務嘉記，堀田 一弘
  • Organizer: 電気・電子・情報関係学会 東海支部連合大会
• [Presentation] Semantic Segmentationのための局所的特徴集約モジュール (2021)
  • Author(s): 古川諒一，堀田 一弘
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] 3D Loop ResNetを用いた人間の行動予測 (2021)
  • Author(s): 各務嘉記，堀田 一弘
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] セマンティックセグメンテーションモデルの軽量化のためのクラス単位知識蒸留 (2021)
  • Author(s): 池戸僚汰，堀田 一弘
  • Organizer: 画像の認識・理解シンポジウム
• [Presentation] Adversarial Mutual Leakage Networkによるセマンティックセグメンテーション (2021)
  • Author(s): 津田大輝, 堀田 一弘
  • Organizer: 画像の認識・理解シンポジウム