• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

転移学習の理論的解析とその応用

研究課題

研究課題/領域番号 17K12653
研究種目

若手研究(B)

配分区分基金
研究分野 統計科学
研究機関東京大学 (2020-2022)
国立研究開発法人理化学研究所 (2017-2019)

研究代表者

熊谷 亘  東京大学, 大学院工学系研究科(工学部), 特任助教 (20747167)

研究期間 (年度) 2017-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2020年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2019年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2018年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2017年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワード転移学習 / メタ学習 / パラメータ転移 / 普遍近似定理 / 群対称性 / ニューラル過程 / 畳み込み / 機械学習 / 汎化誤差 / 特徴抽出
研究成果の概要

第一の主結果として,パラメトリックなモデルをドメイン間で転移する状況における理論バウンドを導出した.特に特徴抽出器として複雑なパラメトリックモデルを取ることもでき,深層ニューラルネットやスパース符号化を理論的に取り扱うことができるものである.第二の主結果として,同変性とよば れる代数的な性質を加味した場合のメタ学習器の普遍性を示した.同変性はデータ処理や自然界の過程で自然に現れる性質であり,同変的なニューラルアーキテ クチャによる処理により学習を効率化させることができるという利点がある.第三の主結果として,同時分布に関する期待リスクの差の分解定理を導出した.

研究成果の学術的意義や社会的意義

初めに学術的意義について述べる.転移学習は現在の機械学習や人工知能の研究において欠かせない技術である.本研究により,転移学習の理論的側面の一端が明らかになり,効率的なモデルの構築や転移学習手法の構築に資することが期待できる.特にメタ学習において同変性を用いた新規のモデルを提案したが,これはデータ内の対称性という代数的性質を学習の効率化に結びつけるために重要な結果と言える.
次に社会的な意義について述べる.転移学習技術は多数のドメインでの学習をサポートするもので,幅広い応用で成功を収めている.本研究結果は今後の転移学習の応用においてその理論的基盤の構築に貢献するものである.

報告書

(7件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 研究成果

    (12件)

すべて 2022 2019 2018 2017

すべて 雑誌論文 (4件) (うち国際共著 2件、 査読あり 4件、 オープンアクセス 1件) 学会発表 (8件) (うち国際学会 1件、 招待講演 2件)

  • [雑誌論文] Robust Label Prediction via Label Propagation and Geodesic <i>k</i>-Nearest Neighbor in Online Semi-Supervised Learning2019

    • 著者名/発表者名
      WADA Yuichiro、SU Siqiang、KUMAGAI Wataru、KANAMORI Takafumi
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102.D 号: 8 ページ: 1537-1545

    • DOI

      10.1587/transinf.2018EDP7424

    • NAID

      130007686445

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2019-08-01
    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Spectral Embedded Deep Clustering2019

    • 著者名/発表者名
      Wada Yuichiro、Miyamoto Shugo、Nakagama Takumi、Andeol Leo、Kumagai Wataru、Kanamori Takafumi
    • 雑誌名

      Entropy

      巻: 21 号: 8 ページ: 795-795

    • DOI

      10.3390/e21080795

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Variable Selection for Nonparametric Learning with Power Series Kernels2019

    • 著者名/発表者名
      Matsui Kota、Kumagai Wataru、Kanamori Kenta、Nishikimi Mitsuaki、Kanamori Takafumi
    • 雑誌名

      Neural Computation

      巻: 31 号: 8 ページ: 1718-1750

    • DOI

      10.1162/neco_a_01212

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり
  • [雑誌論文] Risk bound of transfer learning using parametric feature mapping and its application to sparse coding2019

    • 著者名/発表者名
      Kumagai Wataru、Kanamori Takafumi
    • 雑誌名

      Machine Learning

      巻: 108 号: 11 ページ: 1975-2008

    • DOI

      10.1007/s10994-019-05805-2

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり
  • [学会発表] Langevin Autoencoders for Learning Deep Latent Variable Models2022

    • 著者名/発表者名
      Shohei Taniguchi
    • 学会等名
      Advances in Neural Information Processing Systems 35 (NeurIPS 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 転移学習から継続学習へ2019

    • 著者名/発表者名
      熊谷亘
    • 学会等名
      科学研究費 基盤研究(A)「機械学習システムの社会実装に向けた次世代最適化技法の研究」による2019年度ワークショップ
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] 転移学習から継続学習へ2019

    • 著者名/発表者名
      熊谷亘
    • 学会等名
      情報系 WINTER FESTA Episode 5
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Wasserstein距離を用いた転移学習の理論解析2018

    • 著者名/発表者名
      熊谷亘
    • 学会等名
      第21回情報論的学習理論ワークショップ
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 転移学習の数理2018

    • 著者名/発表者名
      熊谷亘
    • 学会等名
      第二回理研AIP数理系合同合宿
    • 関連する報告書
      2018 実施状況報告書
    • 招待講演
  • [学会発表] パラメータ転移学習における汎化誤差の評価2017

    • 著者名/発表者名
      熊谷亘
    • 学会等名
      科研費シンポジウム「統計学, 機械学習の数理とその応用」
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] パラメータ転移学習におけるリスク上界2017

    • 著者名/発表者名
      熊谷亘
    • 学会等名
      統計学・機械学習若手シンポジウム「大規模複雑データに対する統計・機械学習のアプローチ」
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] パラメータ転移学習におけるリスク上界2017

    • 著者名/発表者名
      熊谷亘
    • 学会等名
      2017年度 統計関連学会連合大会
    • 関連する報告書
      2017 実施状況報告書

URL: 

公開日: 2017-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi