• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層学習の理論的究明による人工知能技術の革新

研究課題

研究課題/領域番号 18K19793
研究種目

挑戦的研究(萌芽)

配分区分基金
審査区分 中区分60:情報科学、情報工学およびその関連分野
研究機関統計数理研究所

研究代表者

福水 健次  統計数理研究所, 数理・推論研究系, 教授 (60311362)

研究分担者 鈴木 大慈  東京大学, 大学院情報理工学系研究科, 准教授 (60551372)
今泉 允聡  東京大学, 大学院総合文化研究科, 准教授 (90814088)
研究期間 (年度) 2018-06-29 – 2021-03-31
研究課題ステータス 完了 (2020年度)
配分額 *注記
6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
2020年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
2019年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
2018年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
キーワード人工知能 / 深層学習 / 機械学習 / ニューラルネットワーク / 理論解析
研究成果の概要

本研究では,数理的アプローチによって深層学習の学習ダイナミクスなどの理論解析を行った.その結果以下の結果を得た.(1)不連続な関数を推定する場合,深層ニューラルネットは,従来法である固定基底を用いる方法に比べて,推定精度に優位性がある(2)深層ニューラルネットが冗長な中間素子を持つ場合の誤差曲面の鞍点の構造が明らかとなった(3)深層生成ネットワークの学習ダイナミクスの安定性条件が明らかとなった.また,因果方向をメタ学習によって少数のデータから推定する方法を提案した.

研究成果の学術的意義や社会的意義

深層学習は応用面からの成功により現在の人工知能の基盤技術となっているが,モデルが強い非線形性を持つことから理論的な解析を行うことは容易ではなくブラックボックスとして使われる場合が多い.本研究は数理的手法で深層学習の性質を理論的に明らかにするものであり,ブラックボックスを超えた深層学習の理論,特に学習によって得られたネットワークの信頼性や,学習アルゴリズムの安定性に関して重要な知見が得られた.

報告書

(4件)
  • 2020 実績報告書   研究成果報告書 ( PDF )
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 研究成果

    (29件)

すべて 2021 2020 2019 2018 その他

すべて 国際共同研究 (2件) 雑誌論文 (14件) (うち国際共著 5件、 査読あり 13件、 オープンアクセス 11件) 学会発表 (12件) (うち国際学会 6件、 招待講演 10件) 備考 (1件)

  • [国際共同研究] Stanford University(米国)

    • 関連する報告書
      2019 実施状況報告書
  • [国際共同研究] Cornell University(米国)

    • 関連する報告書
      2018 実施状況報告書
  • [雑誌論文] A General Class of Transfer Learning Regression without Implementation Cost2021

    • 著者名/発表者名
      Shunya Minami, Song Liu, Stephen Wu, Kenji Fukumizu, Ryo Yoshida
    • 雑誌名

      Proceedings of 35th AAAI Conference on Artificial Intelligence

      巻: 1 ページ: 1-6

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Meta Learning for Causal Direction2021

    • 著者名/発表者名
      Jean-Francois Ton, Dino Sejdinovic, Kenji Fukumizu
    • 雑誌名

      Proceedings of 35th AAAI Conference on Artificial Intelligence

      巻: 1 ページ: 1-6

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Exchangeable Deep Neural Networks for Set-to-Set Matching and Learning2020

    • 著者名/発表者名
      Saito, Y., Nakamura, T., Hachiya, H. and Fukumizu, K.
    • 雑誌名

      Computer Vision -- ECCV 2020

      巻: 1 ページ: 626-646

    • DOI

      10.1007/978-3-030-58520-4_37

    • ISBN
      9783030585198, 9783030585204
    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Smoothness and Stability in GANs2020

    • 著者名/発表者名
      Chu, C. Minami, K. and Fukumizu, K.
    • 雑誌名

      International Conferences on Learning Representations 2020

      巻: 1 ページ: 1-8

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] On Random Subsampling of Gaussian Process Regression: A Graphon-Based Analysis2020

    • 著者名/発表者名
      Kohei.Hayashi. Masaaki.Imaizumi. Yuichi Yoshida
    • 雑誌名

      Proceedings of the Twenty Third International Conference on Artificial Intelligence and Statistics, PMLR

      巻: 108 ページ: 2055-2065

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Adaptive Approximation and Generalization of Deep Neural Network with Intrinsic Dimensionality2020

    • 著者名/発表者名
      Ryumei Nakada. Masaaki Imaizumi
    • 雑誌名

      Journal of Machine Learning Research

      巻: 21 ページ: 1-38

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Smoothness and Stability in GANs2020

    • 著者名/発表者名
      C. Chu, K. Minami, and K. Fukumzu
    • 雑誌名

      International Conference on Representation Learing

      巻: 1 ページ: 1-31

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Semi-flat minima and saddle points by embedding neural networks to overparameterization2019

    • 著者名/発表者名
      K. Fukumizu, S. Yamaguchi, Y. Mototake, and M. Tanaka
    • 雑誌名

      Advances in Neural Processing Systems

      巻: 32 ページ: 13868-13876

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A simple method to construct confidence bands in functional linear regression2019

    • 著者名/発表者名
      Masaaki Imaizumi and Kengo Kato
    • 雑誌名

      Statistica Sinica

      巻: *

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Statistically Efficient Estimation for Non-Smooth Probability Densities2018

    • 著者名/発表者名
      Masaaki Imaizumi, Takanori Maehara, Yuichi Yoshida
    • 雑誌名

      Proceedings of Machine Learning Research Workshop & Conference Proceedings (AISTATS 2018)

      巻: 84 ページ: 978-987

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] Deep Neural Networks Learn Non-Smooth Functions Effectively2018

    • 著者名/発表者名
      今泉允聡、福水 健次
    • 雑誌名

      2018年度統計関連学会連合大会講演予稿集

      巻: ?

    • 関連する報告書
      2018 実施状況報告書
  • [雑誌論文] Functional gradient boosting based on residual network perception2018

    • 著者名/発表者名
      Atsushi Nitanda and Taiji Suzuki
    • 雑誌名

      Proceedings of the 35th International Conference on Machine Learning: PMLR

      巻: 80:

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Gradient Layer: Enhancing the Convergence of Adversarial Training for Generative Models2018

    • 著者名/発表者名
      Atsushi Nitanda and Taiji Suzuki
    • 雑誌名

      AISTATS2018, Proceedings of Machine Learning Research

      巻: 84

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Fast generalization error bound of deep learning from a kernel perspective2018

    • 著者名/発表者名
      Taiji Suzuki
    • 雑誌名

      AISTATS2018, Proceedings of Machine Learning Research

      巻: 84

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Generalization Analysis of Deep Models with Loss Surface and Likelihood Models2021

    • 著者名/発表者名
      Masaaki Imaizumi
    • 学会等名
      Workshop on Functional Inference and Machine Intelligence 2021
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 深層生成モデルの理論と応用2020

    • 著者名/発表者名
      福水健次
    • 学会等名
      第5回 統計・機械学習若手シンポジウム
    • 関連する報告書
      2020 実績報告書
    • 招待講演
  • [学会発表] Smoothness and Stability in Learning Generative Adversarial Networks2020

    • 著者名/発表者名
      Kenji Fukumizu
    • 学会等名
      RIKEN AIP Mathematical Seminar
    • 関連する報告書
      2020 実績報告書
    • 招待講演
  • [学会発表] Generalization Analysis for Mechanism of Deep Learning by Statistics and Learning Theory2020

    • 著者名/発表者名
      Masaaki Imaizumi
    • 学会等名
      Seoul National University Seminar
    • 関連する報告書
      2020 実績報告書
    • 招待講演
  • [学会発表] 深層学習の原理の理解に向けた理論の試み2020

    • 著者名/発表者名
      今泉允聡
    • 学会等名
      諸科学における大規模データと統計数理モデリング
    • 関連する報告書
      2020 実績報告書
    • 招待講演
  • [学会発表] Fast convergence on perfect classification for functional data2020

    • 著者名/発表者名
      Tomoya Wakayama. Masaaki Imaizumi
    • 学会等名
      Computational and Methodological Statistics
    • 関連する報告書
      2020 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Smoothness and Stability in Learning GANs2019

    • 著者名/発表者名
      Kenji Fukumizu
    • 学会等名
      Workshop on Functional Inference and Machine Intelligence
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] Generalization error of deep learning with connection to sparse estimation in function space2019

    • 著者名/発表者名
      Taiji Suzuki:
    • 学会等名
      Workshop on Functional Inference and Machine Intelligence
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Compressing deep neural network and its generalization error analysis via kernel theory2019

    • 著者名/発表者名
      Taiji Suzuki
    • 学会等名
      Reinforcement Learning & Biological Intelligence, learning from biology, learning for biology
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Deep Neural Networks Learn Non-Smooth Functions Effectively2018

    • 著者名/発表者名
      Masaaki Imaizumi and Kenji Fukumizu
    • 学会等名
      ICML 2018 Workshop on Theory of Deep Learning
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 汎化誤差評価によるGANの理論解析2018

    • 著者名/発表者名
      今泉 允聡、福水 健次
    • 学会等名
      第21回情報論的学習理論ワークショップ (IBIS 2018)
    • 関連する報告書
      2018 実施状況報告書
    • 招待講演
  • [学会発表] Adaptivity of Deep ReLU Network for Learning in Besov Spaces.2018

    • 著者名/発表者名
      Taiji Suzuki
    • 学会等名
      Forum "Math-for-Industry" 2018 - Big Data Analysis, AI, Fintech, Math in Finances and Economics
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会 / 招待講演
  • [備考] Kenji Fukumizu's home page

    • URL

      http://www.ism.ac.jp/~fukumizu/

    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2018-07-25   更新日: 2022-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi