• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

ニューラルネットワークを対象とした忘却回避型継続学習の実現

研究課題

研究課題/領域番号 21J21785
配分区分補助金
研究機関青山学院大学

研究代表者

村田 健悟  青山学院大学, 理工学研究科, 特別研究員(DC1)

研究期間 (年度) 2021-04-28 – 2024-03-31
キーワード継続学習 / 破滅的忘却 / 表現学習 / ニューラルネットワーク
研究実績の概要

本年度は,1) 昨年度に設計した自己教師あり学習を利用した継続学習フレームワークの洗練化,および,2) 学習したパラメータの更新を行わず,追加パラメータの最適化のみを行うことで新たなタスクへ適応する継続学習手法の実現について研究を行った.
1) 昨年度に設計した自己教師あり学習手法を利用した継続学習フレームワークについて,多様な既存手法に対して提案フレームワークの組み込みによる分類性能の向上効果を発揮させるために,提案フレームワークの分析と洗練化を行った.その結果,一般画像データセットを利用した実験を通して,5種類の既存手法について提案フレームワークを組み込んだ場合に分類性能が向上することを確認した.
2) 1)で提案した継続学習フレームワークは,特徴変換を行うモジュールの継続的な更新を必要とするため,その更新により忘却が生じてしまうという問題を抱えている.加えて,モデルパラメータ数が固定であるため,継続的な学習により学習不能状態に陥ることが想定される.そこで,Prompt Tuningと呼ばれる転移学習技術を利用し,各クラスの認識に特化したパラメータのみを追加学習する継続学習手法を提案した.提案手法は,学習したパラメータの更新を行わないため,パラメータの更新による忘却を完全に回避することができ,さらに,パラメータを逐次的に追加するため学習不能状態に陥ることがない.また,一般画像データセットを利用した実験を通して,学習したサンプルの保持が不可であるという問題設定において,他のPrompt Tuningを利用した継続学習手法よりも高い分類性能を示すモデルを獲得可能であることを示した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

これまでの研究では,汎用的な表現学習の継続学習における有用性を示し,その表現を学習対象のタスクに適した表現へと変換する表現変換機構を実現した.さらに,表現変換機構の逐次的な拡張方法を考案し,継続的な学習によって生じる得る問題の1つである,モデルの学習不能状態に対処することを可能とした.加えて,学習したサンプルの保持が不可であるという問題設定においても,提案手法により高い性能を持つモデルを実現可能であることを示した.このことは,プライバシー等の問題によりサンプルを一定期間以上保持できないような場合においても,提案手法の利用が可能であることを示している.しかし,その性能の高さは事前学習済みモデルの性能に大きく依存し,事前学習済みモデルが学習対象タスクについて有用な特徴を抽出できない場合,提案手法では高い分類性能を示すモデルを実現できないという問題を抱えている.

今後の研究の推進方策

令和5年度は,事前学習済みモデルが学習対象タスクについて有用な特徴を抽出できない場合に高い性能を発揮することができないという,提案手法の問題点に対処するため,異なる時点で学習した情報の関係性を明示的に学習する手法を設計する.具体的には,クラス分類問題を対象とし,各クラスを表す概念に着目した表現学習と,その概念を利用した分類学習方法を考案する.これら学習方法を実現することで,すでに学習したクラスと新たな学習対象クラスの分類について,学習したクラスの概念を利用することで,学習したクラスのサンプルを利用せずとも,その分類の明示的な学習が可能になることが期待される.

  • 研究成果

    (4件)

すべて 2022

すべて 学会発表 (4件) (うち国際学会 1件)

  • [学会発表] 未学習クラスサンプルを自律的に学習する機械学習システムの提案2022

    • 著者名/発表者名
      加藤優希, 村田健悟, 伊東聖矢, 大原剛三
    • 学会等名
      第28回 画像センシングシンポジウム (SSII 2022)
  • [学会発表] 表現空間における分類容易性の評価に基づく継続学習分析手法の提案2022

    • 著者名/発表者名
      村田健悟, 伊東聖矢, 大原剛三
    • 学会等名
      電子情報通信学会第46回情報論的学習理論と機械学習研究会
  • [学会発表] クラスに依存しない潜在表現の獲得を促す継続学習フレームワークの提案2022

    • 著者名/発表者名
      村田健悟, 伊東聖矢, 大原剛三
    • 学会等名
      第25回 画像の認識・理解シンポジウム (MIRU 2022)
  • [学会発表] Learning and Transforming General Representations to Break Down Stability-Plasticity Dilemma2022

    • 著者名/発表者名
      Kengo Murata, Seiya Ito, Kouzou Ohara
    • 学会等名
      The 16th Asian Conference on Computer Vision (ACCV 2022)
    • 国際学会

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi