• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層ゼロ関数学習の計算と理論

研究課題

研究課題/領域番号 22K17962
研究種目

若手研究

配分区分基金
審査区分 小区分61040:ソフトコンピューティング関連
研究機関千葉大学

研究代表者

計良 宥志  千葉大学, 大学院情報学研究院, 助教 (00887705)

研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2024年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2023年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
キーワード敵対的摂動 / 深層学習 / 相互作用値 / Transformer / 敵対的訓練 / 機械学習 / 消失関数
研究開始時の研究の概要

有限の数の訓練データから学習を行う場合,訓練データ上で全く同じ振る舞いをする関数は無数に存在する.多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である.本研究の目的は,深層ゼロ関数学習という新たな問題に取り組み,訓練データ上で全く同じ振る舞いをする関数を自在に行き来する方法を実現することである.あるタスクで学習された関数が与えられた時,同じ訓練データでゼロ値をとるよう学習された深層ゼロ関数を加えても訓練データ上の振る舞いは変化しない.この性質を利用して,過学習改善による学習済モデルの改良や敵対的サンプルへの耐性向上向上など,様々なタスクへの貢献を目指す.

研究実績の概要

有限の数の訓練データから学習を行う場合,訓練データ上で全く同じ振る舞いをする関数は無数に存在する.これは特に現代の overparameterized な深層学習モデルで顕著であり,多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である.本年は,(ア)深層学習モデルの敵対的訓練における学習ダイナミクスに関する理論的な分析(イ)敵対的摂動からの学習可能性に関する理論的な分析,そして(ウ)Vision Transformerの入出力の関係を説明するゲーム理論的手法の開発,という3つの成果を得た.敵対的訓練は,入力への(敵対的な)摂動にロバストな深層学習モデルの訓練に用いられる.(ア)では,十分幅の広い深層ニューラルネットワークの学習初期の学習ダイナミクスに関して,理論的な結果を得た.これは機械学習のトップ会議であるNeurIPSに採択され,12月にアメリカにて発表を行った.また(イ)に関しては,敵対的な摂動のみから学習した深層学習モデルが自然な画像の分類をなぜ実現できるのかを2層の素朴なニューラルネットワークにおける解析で初めて理論的に明らかにした.近年,2層同次ニューラルネットワークにおいて,学習を行った二値分類モデルの分類境界が初期化によらずにほぼ一致し,またそれが線形であることが報告されている.本研究では,この結果を摂動学習へ適用した.その結果,摂動学習を行なったモデルの分類境界には,敵対摂動とそれに付随する(人間の視点では)誤ったラベルで学習した効果が影響しつつも,通常のサンプルで学習した場合の決定境界が現れることを明らかにした.(ウ)に関しては,従来の説明手法が入力変数の関係性を明示的に考慮していない点を指摘し,ゲーム理論から輸入したInteractionという指標により定量化した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

理論面では,深層学習モデルの学習ダイナミクスや分類境界の様子を敵対的訓練・摂動の文脈で分析し重要な結果が得られている.また,実用面でもVision Transformerのような広く用いられるモデルの挙動を説明する強力な可視化手法を設計できた.

今後の研究の推進方策

本年の進展のうち,(イ)敵対的摂動からの学習可能性に関する理論的な分析,および(ウ)Vision Transformerの入出力の関係を説明するゲーム理論的手法の開発,の二つの成果に関してはさらなる拡張が可能であると考えている.前者に関しては,ネットワークの活性化関数や学習するデータ分布における仮定を外し,さらに一般的な主張ができると考えている.また後者に関しては,現在はクラス分類タスクにおいてのみ解析を行なっているが,モデルがより多次元の出力を行うタスク,例えば物体認識においても有効であると考えている.この場合,今回の提案のように入力変数同士の関係性を見るだけではなく,出力変数同士の関係性も見る必要がある.この技術的課題を解決すれば,非常に広範なユースケースで利用できる強力な説明手法になると考えている.

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (6件)

すべて 2024 2023

すべて 学会発表 (6件) (うち国際学会 5件)

  • [学会発表] Game-Theoretic Visualization Method of Important Pixels2024

    • 著者名/発表者名
      Kosuke Sumiyasu, Kazuhiko Kawamoto, Hiroshi Kera
    • 学会等名
      10th Anniversary Korea-Japan Joint Workshop on Complex Communication Sciences (KJCCS)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Adversarial Training from Mean Field Perspective2023

    • 著者名/発表者名
      Soichiro Kumano, Hiroshi Kera, Toshihiko Yamasaki
    • 学会等名
      Advances in Neural Information Processing Systems (NeurIPS 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Theoretical Explanation for Generalization from Adversarial Perturbations2023

    • 著者名/発表者名
      Soichiro Kumano, Hiroshi Kera, and Toshihiko Yamasaki
    • 学会等名
      NeurIPS Workshop on Mathematics of Modern Machine Learning (NeurIPS M3L Workshop)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Low-Quality Image Detection by Hierarchical VAE2023

    • 著者名/発表者名
      Tomoyasu Nanaumi, Kazuhiko Kawamoto, Hiroshi Kera
    • 学会等名
      International Conference on Computer Vision Workshop on Uncertainty in Computer Vision (ICCV UnCV Workshop)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Identifying Important Group of Pixels using Interactions2023

    • 著者名/発表者名
      Kosuke Sumiyasu, Kazuhiko Kawamoto, Hiroshi Kera
    • 学会等名
      International Conference on Computer Vision Workshop on Uncertainty in Computer Vision (ICCV UnCV Workshop)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Probabilistic Approach towards Theoretical Understanding for Adversarial Training2023

    • 著者名/発表者名
      Soichiro Kumano, Hiroshi Kera, Toshihiko Yamasaki
    • 学会等名
      信学技報, 画像工学研究会 (IE)
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi