Efficient transfer learning method by selecting feature extraction processing

• Project/Area Number: 17K00334
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Soft computing
• Research Institution: Chiba University
• Principal Investigator: YATA Noriko 千葉大学, 大学院工学研究院, 助教 (60528412)
• Project Period (FY): 2017-04-01 – 2022-03-31
• Project Status: Completed (Fiscal Year 2021)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2018: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2017: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: 畳み込みニューラルネットワーク / 深層学習 / プルーニング / 転移学習 / 強化学習 / 進化計算

Outline of Final Research Achievements

This study proposes a new method to reduce the weight of the CNNs (Convolutional Neural Networks) model.
The proposed method is a lightweight and accurate recognizer by automating the trial-and-error part of model construction and using network structure optimization and transition learning techniques for CNNs.
We have proposed new methods to realize lightweight and accurate recognizers, such as filter pruning based on the importance of characteristics and model compression by selecting parameters that do not affect recognition accuracy using reinforcement learning.

Academic Significance and Societal Importance of the Research Achievements

近年，畳み込みニューラルネットワーク(CNN)によってコンピュータによる物体認識技術は人間と同等の精度を実現できるようになった．CNNは特徴を抽出する役割をもつ畳み込み層を重ねることで高精度な画像認識を実現しているが，高精度なCNNを利用するために必要な計算量や記憶容量も増大しているため，計算資源が限られているデバイス上にCNNを組み込むことは困難であるという問題があり，近年では様々なエッジデバイスにAIを組み込みリアルタイムで動作させたいという需要が増えてきている．そこでこの問題を解決するためにCNNの性能を維持したまま計算量やパラメータを削減するモデルの圧縮を提案した．

Research Products

• [Presentation] Improving the Accuracy of the Color Constancy Network by Object Detection (2022)
  • Author(s): Shunta Sugiyama, Yoshitsugu Manabe and Noriko Yata
  • Organizer: International Workshop on Advanced Image Technology 2022 (IWAIT 2022)
  • Int'l Joint Research
• [Presentation] A Study of Lightweighting Method Using Reinforcement Learning (2022)
  • Author(s): Yoshihiro Harada, Noriko Yata and Yoshitsugu Manabe
  • Organizer: International Workshop on Advanced Image Technology 2022 (IWAIT 2022)
  • Int'l Joint Research
• [Presentation] 畳み込みニューラルネットワークのフィルタ選択によるモデル軽量化手法の検討 (2021)
  • Author(s): 生田亮介, 眞鍋佳嗣, 矢田紀子
  • Organizer: 映像情報メディア学会2021年冬季大会
• [Presentation] 色恒常性における物体認識ネットワーク手法の検討 (2021)
  • Author(s): 武田隆史, 矢田紀子, 眞鍋佳嗣
  • Organizer: 映像情報メディア学会2021年冬季大会
• [Presentation] 紙の光沢画像におけるムラのDNN解析の検討 (2021)
  • Author(s): 河相竹千代, 井上信一, 矢田紀子, 眞鍋佳嗣
  • Organizer: 映像情報メディア学会2021年冬季大会
• [Presentation] 材質推定CNNの特徴量から構築する材質感推定式の精度向上 (2021)
  • Author(s): 若林祐希, 矢田紀子, 眞鍋佳嗣
  • Organizer: 映像情報メディア学会2021年冬季大会
• [Presentation] Transfer Learning for Small-scale Data Classification Using CNN Filter Replacement (2021)
  • Author(s): Ryo Muto, Noriko Yata and Yoshitsugu Manabe
  • Organizer: IWAIT2021
  • Int'l Joint Research
• [Presentation] Analysis of mechanism in material estimation by CNN (2020)
  • Author(s): Nozomi Tobaru, Noriko Yata and Yoshitsugu Manabe
  • Organizer: AIC2020
  • Int'l Joint Research
• [Presentation] 量子化とプルーニングを用いたDNNのモデル軽量化手法の提案 (2020)
  • Author(s): 原田佳拓, 矢田紀子, 眞鍋佳嗣
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] 強化学習を用いたCNNのプルーニング手法の提案 (2019)
  • Author(s): 原田佳拓, 矢田紀子, 眞鍋佳嗣
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] CNN フィルタ置換を用いた小規模データのクラス分類のための転移学習 (2019)
  • Author(s): 武藤 諒, 矢田 紀子, 眞鍋 佳嗣
  • Organizer: 計測自動制御学会システム・情報部門学術講演会
• [Presentation] 小規模データのクラス分類のための転移学習におけるCNNのフィルタ選択 (2018)
  • Author(s): 武藤 諒, 矢田紀子, 眞鍋佳嗣
  • Organizer: 映像情報メディア学会2018年冬季大会