• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

情報リークを用いた深層学習の高度化

研究課題

研究課題/領域番号 21K11971
研究機関名城大学

研究代表者

堀田 一弘  名城大学, 理工学部, 教授 (40345426)

研究期間 (年度) 2021-04-01 – 2024-03-31
キーワード深層学習 / Feedback / 情報リーク / セグメンテーション / Transformer
研究実績の概要

情報リークという観点から様々な研究を行っている。例えば、Deep Neural Networkの出力を入力側にFeedbackして再度推論しながらセマンティックセグメンテーションを行う方法を提案した。また、一般に、動画像認識では3D CNNが利用されるが、その内部で情報をFeedbackさせる方法も提案した。これにより、時系列情報を有効に活用することができると考えられる。
時系列画像のセマンティックセグメンテーションを行う際、教師付き画像と時系列的に近い画像は高い精度でセグメンテーションができる。この性質を利用し、教師付き画像の所から時系列順に疑似ラベルを付与し、それらを教師データとして再利用しながら学習を行っていく方法も提案した。これは時系列的に情報をリークしていく枠組みと考えられる。また、セグメンテーションではクラス数が増えると精度が悪くなる傾向がある。そこで、あるクラスとその他の2クラス識別を行うDeep Neural Networkを学習し、そこから知識蒸留をしながら多クラスセグメンテーションの精度を改善する自己蒸留法も提案した。これは2クラス識別器からの情報リークと言える。
また、最近ではTransformerの有効性が多数報告されているので、今後のベースとなるTransformerの改良も行っている。画像には自然言語のように明確に単語という概念がないため、Vision Transformerでは入力画像を局所領域に切り出したものを単語のように扱っている。これを改善するために、学習画像の局所領域をクラスタリングしたものを単語と考え、Vision Transformerの中に組み込んだ。これはVisual Wordから入力画像への情報リークと考えることができる。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

様々な画像認識問題に対し、情報リークという観点から様々な方法を提案し、有効性を確認できている。この点からおおむね順調に進展していると言える。

今後の研究の推進方策

今後も情報リークという観点から、画像分類、セマンティックセグメンテーション、動画像認識などの様々な画像認識問題に対してアプローチしていく。最近はTransformerを用いた方法の有効性の報告が多いため、Transformerに対して情報リークの観点からさらなる改善をしていく。

次年度使用額が生じた理由

国際会議に採択されたが、コロナが収束していない状況だったため、オンライン発表にした。そのため、旅費を利用せずに残額が生じた。今年は対面式の国際会議がメインになっているので、旅費に利用する。

  • 研究成果

    (14件)

すべて 2023 2022

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (13件) (うち国際学会 6件)

  • [雑誌論文] Cell image segmentation by using feedback and convolutional LSTM2022

    • 著者名/発表者名
      Eisuke Shibuya, Kazuhiro Hotta
    • 雑誌名

      The Visual Computer

      巻: 38 ページ: 3791-3801

    • DOI

      10.1007/s00371-021-02221-3

    • 査読あり / オープンアクセス
  • [学会発表] Shuffle Mixing: An Efficient Alternative to Self Attention2023

    • 著者名/発表者名
      R.Furukawa and K.Hotta
    • 学会等名
      18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
    • 国際学会
  • [学会発表] Improvement of Vision Transformer Using Word Patches2023

    • 著者名/発表者名
      A.Takama, S.Kato, S.Kamiya, and K.Hotta
    • 学会等名
      18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
    • 国際学会
  • [学会発表] Semantic Segmentation by Semi-Supervised Learning Using Time Series Constraint2023

    • 著者名/発表者名
      T.Mano, S.Kato and K.Hotta
    • 学会等名
      18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
    • 国際学会
  • [学会発表] Class-wise Knowledge Distillation for Lightweight Segmentation Model2023

    • 著者名/発表者名
      R.Ikedo, K.Nagata, and K.Hotta
    • 学会等名
      16th International Conference on Bio-inspired Systems and Signal Processing
    • 国際学会
  • [学会発表] LOCAL EMBEDDING FOR AXIAL ATTENTION2023

    • 著者名/発表者名
      R.Furukawa and K.Hotta
    • 学会等名
      IEEE International Conference on Image Processing
    • 国際学会
  • [学会発表] Predicting Human Behavior Using 3D Loop ResNet2023

    • 著者名/発表者名
      Y.Kakamu and K.Hotta
    • 学会等名
      International Conference on Pattern Recognition
    • 国際学会
  • [学会発表] Shuffle Mixing:自己注意の効率的な代替手法2022

    • 著者名/発表者名
      古川諒一,堀田 一弘
    • 学会等名
      画像の認識・理解シンポジウム
  • [学会発表] 時系列の制約を用いた半教師学習によるセマンティックセグメンテーション2022

    • 著者名/発表者名
      真野嵩大,堀田 一弘
    • 学会等名
      画像の認識・理解シンポジウム
  • [学会発表] Object Queriesを用いたVision Transformer の精度向上2022

    • 著者名/発表者名
      髙間斐斗,堀田 一弘
    • 学会等名
      画像の認識・理解シンポジウム
  • [学会発表] 対照学習を用いた継続学習における破滅的忘却の軽減と学習の強化2022

    • 著者名/発表者名
      永田耕太郎,堀田 一弘
    • 学会等名
      画像の認識・理解シンポジウム
  • [学会発表] 自己蒸留によるセマンティックセグメンテーションの精度向上2022

    • 著者名/発表者名
      安藤 嵩将,堀田 一弘
    • 学会等名
      画像の認識・理解シンポジウム
  • [学会発表] 注意機構を用いた自己蒸留によるセマンティックセグメンテーション2022

    • 著者名/発表者名
      池戸僚汰,永田耕太郎,堀田一弘
    • 学会等名
      画像の認識・理解シンポジウム
  • [学会発表] Axial Attention のための局所埋め込み2022

    • 著者名/発表者名
      古川諒一,堀田一弘
    • 学会等名
      画像センシングシンポジウム

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi