深層機械学習理論の深化とその構造解析への応用

• 研究課題/領域番号: 18H03201
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 審査区分: 小区分60010:情報学基礎論関連
• 研究機関: 東京大学
• 研究代表者: 鈴木 大慈 東京大学, 大学院情報理工学系研究科, 准教授 (60551372)
• 研究期間 (年度): 2018-04-01 – 2022-03-31
• 研究課題ステータス: 完了 (2021年度)
• 配分額: 17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円); 2021年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2020年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円); 2019年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2018年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
• キーワード: 深層学習 / カーネル法 / 汎化誤差解析 / ノンパラメトリック統計 / モデル圧縮 / 機械学習 / 確率的最適化 / 統計的学習理論 / 汎化誤差 / 数理統計 / 高次元統計 / 学習理論 / 構造解析 / 最適化

研究成果の概要

深層学習は現在機械学習でも中心的な役割を果たしており，多くのタスクで高い性能を示している．一方で，その原理への理論的理解は進んでおらず，ブラックボックス化しているのが研究開始当初の状況であった．その状況を改善するために，本研究では深層学習の原理解明に関して以下の研究成果を得た．(1) カーネル法的視点による深層学習の圧縮型汎化誤差解析，(2) 統計自由度による最適なモデル構造の探索とモデル圧縮への応用，(3) 新しい確率的最適化手法の提案，(4) 深層学習のカーネル法への優位性の理論的証明．これらの研究を通して深層学習が他の方法に比べてなぜ良いのかという問いへ多くの知見を得ることができた．

研究成果の学術的意義や社会的意義

深層学習は機械学習の社会実装が進む中，社会的重要な技術となっている．一方でその原理が解明されずに応用だけ進むことは，制御可能性や説明可能性という観点からも望ましくない．本研究では，種々の数学的道具を用いて深層学習の原理解明に貢献し，また理論の応用として最適なモデルの探索やモデル圧縮法を提案した．研究成果により研究開始時期と比べて非常に多くの理論的知見が得られた．これは，深層学習をホワイトボックス化するという意味で社会的意義が大きい成果である，

研究成果

• [国際共同研究] Vector Institute/University of Toronto(カナダ)
• [国際共同研究] University of Toronto/Vector Institute(カナダ)
• [国際共同研究] Tsinghua University(中国)
• [国際共同研究] Stanford University(米国)
• [国際共同研究] CREST/INRIA/Universite Paris-Saclay(フランス)
• [雑誌論文] AutoLL: Automatic Linear Layout of Graphs based on Deep Neural Network (2022)
  • 著者名/発表者名: Watanabe Chihiro、Suzuki Taiji
  • 雑誌名: IEEE Symposium Series on Computational Intelligence (SSCI 2021) 巻: － ページ: 1-10
  • DOI: 10.1109/ssci50451.2021.9659893
  • 査読あり / オープンアクセス
• [雑誌論文] Learnability of convolutional neural networks for infinite dimensional input via mixed and anisotropic smoothness (2022)
  • 著者名/発表者名: Sho Okumoto and Taiji Suzuki
  • 雑誌名: ICLR2022 巻: 10
  • 査読あり / オープンアクセス
• [雑誌論文] Particle Stochastic Dual Coordinate Ascent: Exponential convergent algorithm for mean field neural network optimization (2022)
  • 著者名/発表者名: Kazusato Oko, Taiji Suzuki, Atsushi Nitanda, and Denny Wu
  • 雑誌名: ICLR2022 巻: 10
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Understanding the Variance Collapse of SVGD in High Dimensions (2022)
  • 著者名/発表者名: Jimmy Ba, Murat A Erdogdu, Marzyeh Ghassemi, Shengyang Sun, Taiji Suzuki, Denny Wu, and Tianzong Zhang
  • 雑誌名: ICLR2022 巻: 10
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Convex Analysis of the Mean Field Langevin Dynamics (2022)
  • 著者名/発表者名: Atsushi Nitanda, Denny Wu, Taiji Suzuki
  • 雑誌名: AISTATS2022, Proceedings of Machine Learning Research 巻: 151
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] 深層学習の統計理論 (2021)
  • 著者名/発表者名: 鈴木 大慈
  • 雑誌名: 日本統計学会誌 巻: 50 号: 2 ページ: 229-256
  • DOI: 10.11329/jjssj.50.229
  • NAID: 130007995093
  • ISSN: 0389-5602, 2189-1478
  • 年月日: 2021-03-05
  • 査読あり / オープンアクセス
• [雑誌論文] Gradient Descent in RKHS with Importance Labeling (2021)
  • 著者名/発表者名: Tomoya Murata, and Taiji Suzuki
  • 雑誌名: AISTATS2021, Proceedings of Machine Learning Research 巻: 130
  • 査読あり / オープンアクセス
• [雑誌論文] Exponential Convergence Rates of Classification Errors on Learning with SGD and Random Features (2021)
  • 著者名/発表者名: Shingo Yashima, Atsushi Nitanda, Taiji Suzuki
  • 雑誌名: AISTATS2021, Proceedings of Machine Learning Research 巻: 130
  • 査読あり / オープンアクセス
• [雑誌論文] Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime (2021)
  • 著者名/発表者名: Atsushi Nitanda, and Taiji Suzuki
  • 雑誌名: ICLR2021 巻: 9
  • 査読あり / オープンアクセス
• [雑誌論文] When Does Preconditioning Help or Hurt Generalization? (2021)
  • 著者名/発表者名: Shun-ichi Amari, Jimmy Ba, Roger Grosse, Xuechen Li, Atsushi Nitanda, Taiji Suzuki, Denny Wu, Ji Xu
  • 雑誌名: ICLR2021 巻: 9
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods (2021)
  • 著者名/発表者名: Taiji Suzuki, Shunta Akiyama
  • 雑誌名: ICLR2020 巻: 9
  • 査読あり / オープンアクセス
• [雑誌論文] Estimation error analysis of deep learning on the regression problem on the variable exponent Besov space (2021)
  • 著者名/発表者名: Tsuji Kazuma、Suzuki Taiji
  • 雑誌名: Electronic Journal of Statistics 巻: 15 号: 1 ページ: 1869-1908
  • DOI: 10.1214/21-ejs1828
  • 査読あり / オープンアクセス
• [雑誌論文] Sharp characterization of optimal minibatch size for stochastic finite sum convex optimization (2021)
  • 著者名/発表者名: Nitanda Atsushi, Murata Tomoya, Suzuki Taiji
  • 雑誌名: Knowledge and Information Systems 巻: 63 号: 9 ページ: 2513-2539
  • DOI: 10.1007/s10115-021-01593-1
  • 査読あり / オープンアクセス
• [雑誌論文] Selective inference for latent block models (2021)
  • 著者名/発表者名: Watanabe Chihiro、Suzuki Taiji
  • 雑誌名: Electronic Journal of Statistics 巻: 15 号: 1 ページ: 3137-3183
  • DOI: 10.1214/21-ejs1853
  • 査読あり / オープンアクセス
• [雑誌論文] Decomposable-Net: Scalable Low-Rank Compression for Neural Networks (2021)
  • 著者名/発表者名: Yaguchi Atsushi、Suzuki Taiji、Nitta Shuhei、Sakata Yukinobu、Tanizawa Akiyuki
  • 雑誌名: Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence 巻: 13 ページ: 3249-3256
  • DOI: 10.24963/ijcai.2021/447
  • 査読あり / オープンアクセス
• [雑誌論文] Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning (2021)
  • 著者名/発表者名: Tomoya Murata, Taiji Suzuki
  • 雑誌名: ICML2021, Proceedings of Machine Learning Research 巻: 139
  • 査読あり / オープンアクセス
• [雑誌論文] Quantitative Understanding of VAE as a Non-linearly Scaled Isometric Embedding (2021)
  • 著者名/発表者名: Akira Nakagawa, Keizo Kato, Taiji Suzuki
  • 雑誌名: ICML2021, Proceedings of Machine Learning Research 巻: 139
  • 査読あり / オープンアクセス
• [雑誌論文] On Learnability via Gradient Method for Two-Layer ReLU Neural Networks in Teacher-Student Setting (2021)
  • 著者名/発表者名: Shunta Akiyama, Taiji Suzuki
  • 雑誌名: ICML2021, Proceedings of Machine Learning Research 巻: 139
  • 査読あり / オープンアクセス
• [雑誌論文] Differentiable Multiple Shooting Layers (2021)
  • 著者名/発表者名: Stefano Massaroli, Michael Poli, Sho Sonoda, Taiji Suzuki, Jinkyoo Park, Atsushi Yamashita, Hajime Asama
  • 雑誌名: Advances in Neural Information Processing Systems 巻: 34
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Deep learning is adaptive to intrinsic dimensionality of model smoothness in anisotropic Besov space (2021)
  • 著者名/発表者名: Taiji Suzuki, Atsushi Nitanda
  • 雑誌名: Advances in Neural Information Processing Systems 巻: 34
  • 査読あり / オープンアクセス
• [雑誌論文] Particle Dual Averaging: Optimization of Mean Field Neural Networks with Global Convergence Rate Analysis (2021)
  • 著者名/発表者名: Atsushi Nitanda, Denny Wu, Taiji Suzuki
  • 雑誌名: Advances in Neural Information Processing Systems 巻: 34
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Goodness-of-fit test for latent block models (2021)
  • 著者名/発表者名: Watanabe Chihiro、Suzuki Taiji
  • 雑誌名: Computational Statistics & Data Analysis 巻: 154 ページ: 107090-107090
  • DOI: 10.1016/j.csda.2020.107090
  • 査読あり / オープンアクセス
• [雑誌論文] Spectral Pruning: Compressing Deep Neural Networks via Spectral Analysis and its Generalization Error (2021)
  • 著者名/発表者名: Suzuki Taiji、Abe Hiroshi、Murata Tomoya、Horiuchi Shingo、Ito Kotaro、Wachi Tokuma、Hirai So、Yukishima Masatoshi、Nishimura Tomoaki
  • 雑誌名: Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence 巻: Main track ページ: 2839-2846
  • DOI: 10.24963/ijcai.2020/393
  • 査読あり / オープンアクセス
• [雑誌論文] A reproducing kernel Hilbert space approach to high dimensional partially varying coefficient model (2020)
  • 著者名/発表者名: Lv Shaogao、Fan Zengyan、Lian Heng、Suzuki Taiji、Fukumizu Kenji
  • 雑誌名: Computational Statistics & Data Analysis 巻: 152 ページ: 107039-107039
  • DOI: 10.1016/j.csda.2020.107039
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Independently Interpretable Lasso for Generalized Linear Models (2020)
  • 著者名/発表者名: Takada Masaaki、Suzuki Taiji、Fujisawa Hironori
  • 雑誌名: Neural Computation 巻: 32 号: 6 ページ: 1168-1221
  • DOI: 10.1162/neco_a_01279
  • 査読あり / オープンアクセス
• [雑誌論文] Compression based bound for non-compressed network: unified generalization error analysis of large compressible deep neural network (2020)
  • 著者名/発表者名: Taiji Suzuki, Hiroshi Abe, Tomoaki Nishimura
  • 雑誌名: ICLR2020 巻: 8
  • 査読あり / オープンアクセス
• [雑誌論文] Graph Neural Networks Exponentially Lose Expressive Power for Node Classification (2020)
  • 著者名/発表者名: Kenta Oono, Taiji Suzuki
  • 雑誌名: ICLR2020 巻: 8
  • 査読あり / オープンアクセス
• [雑誌論文] Generalization of Two-layer Neural Networks: An Asymptotic Viewpoint (2020)
  • 著者名/発表者名: Jimmy Ba, Murat Erdogdu, Taiji Suzuki, Denny Wu, Tianzong Zhang
  • 雑誌名: ICLR2020 巻: 8
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Understanding of Generalization in Deep Learning via Tensor Methods (2020)
  • 著者名/発表者名: Jingling Li, Yanchao Sun, Ziyin Liu, Taiji Suzuki and Furong Huang
  • 雑誌名: AISTATS2020, Proceedings of Machine Learning Research 巻: 108
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Functional Gradient Boosting for Learning Residual-like Networks with Statistical Guarantees (2020)
  • 著者名/発表者名: Atsushi Nitanda, Taiji Suzuki
  • 雑誌名: AISTATS2020, Proceedings of Machine Learning Research 巻: 108
  • 査読あり / オープンアクセス
• [雑誌論文] Domain Adaptation Regularization for Spectral Pruning (2020)
  • 著者名/発表者名: Laurent Dillard, Yosuke Shinya, Taiji Suzuki
  • 雑誌名: BMVC2020 (British Machine Vision Conference 2020) 巻: 31
  • 査読あり / オープンアクセス
• [雑誌論文] Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks (2020)
  • 著者名/発表者名: Kenta Oono, Taiji Suzuki
  • 雑誌名: Advances in Neural Information Processing Systems 巻: 33
  • 査読あり / オープンアクセス
• [雑誌論文] Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics (2020)
  • 著者名/発表者名: Taiji Suzuki
  • 雑誌名: Advances in Neural Information Processing Systems 巻: 33
  • 査読あり / オープンアクセス
• [雑誌論文] Bayesian optimization design for dose‐finding based on toxicity and efficacy outcomes in phase I/ II clinical trials (2020)
  • 著者名/発表者名: Takahashi Ami、Suzuki Taiji
  • 雑誌名: Pharmaceutical Statistics 巻: 20(3) 号: 3 ページ: 422-439
  • DOI: 10.1002/pst.2085
  • 査読あり / オープンアクセス
• [雑誌論文] 数理工学とAI (2020)
  • 著者名/発表者名: 鈴木大慈
  • 雑誌名: 数理科学 巻: 685
• [雑誌論文] On the minimax optimality and superiority of deep neural network learning over sparse parameter spaces (2020)
  • 著者名/発表者名: Satoshi Hayakawa and Taiji Suzuki
  • 雑誌名: Neural Networks 巻: 123 ページ: 343-361
  • DOI: 10.1016/j.neunet.2019.12.014
  • 査読あり / オープンアクセス
• [雑誌論文] Adaptivity of deep ReLU network for learning in Besov and mixed smooth Besov spaces: optimal rate and curse of dimensionality (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 雑誌名: he 7th International Conference on Learning Representations (ICLR2019) 巻: 7
  • 査読あり / オープンアクセス
• [雑誌論文] Stochastic Gradient Descent with Exponential Convergence Rates of Expected Classification Errors (2019)
  • 著者名/発表者名: Atsushi Nitanda, Taiji Suzuki
  • 雑誌名: Proceedings of Machine Learning Research (AISTATS2019) 巻: 89
  • 査読あり / オープンアクセス
• [雑誌論文] Cross-domain Recommendation via Deep Domain Adaptation (2019)
  • 著者名/発表者名: Heishiro Kanagawa, Hayato Kobayashi, Nobuyuki Shimizu, Yukihiro Tagami, and Taiji Suzuki
  • 雑誌名: Advances in Information Retrieval 41st European Conference on IR Research, ECIR 2019 巻: なし
  • 査読あり / オープンアクセス
• [雑誌論文] Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks (2019)
  • 著者名/発表者名: Kenta Oono and Taiji Suzuki
  • 雑誌名: Proceedings of Machine Learning Research (ICML2019) 巻: 97
  • 査読あり / オープンアクセス
• [雑誌論文] Sharp Characterization of Optimal Minibatch Size for Stochastic Finite Sum Convex Optimization (2019)
  • 著者名/発表者名: Nitanda Atsushi、Murata Tomoya、Suzuki Taiji
  • 雑誌名: 2019 IEEE International Conference on Data Mining (ICDM) 巻: なし ページ: 488-497
  • DOI: 10.1109/icdm.2019.00059
  • 査読あり / オープンアクセス
• [雑誌論文] Understanding the Effects of Pre-training for Object Detectors via Eigenspectrum (2019)
  • 著者名/発表者名: Yosuke Shinya, Edgar Simo-Serra, and Taiji Suzuki
  • 雑誌名: ICCV2019, Neural Architects Workshop 巻: なし
• [雑誌論文] 統計的学習理論とその深層学習への応用 (2018)
  • 著者名/発表者名: 鈴木 大慈
  • 雑誌名: 応用数理 巻: 28 号: 4 ページ: 28-33
  • DOI: 10.11540/bjsiam.28.4_28
  • NAID: 130007621094
  • ISSN: 2432-1982
  • 年月日: 2018-12-21
  • オープンアクセス
• [雑誌論文] 再生核ヒルベルト空間の理論によるガウス過程回帰の汎化誤差解析 (2018)
  • 著者名/発表者名: 鈴木 大慈
  • 雑誌名: システム／制御／情報 巻: 62 号: 10 ページ: 396-404
  • DOI: 10.11509/isciesci.62.10_396
  • NAID: 130007632579
  • ISSN: 0916-1600, 2424-1806
  • 年月日: 2018-10-15
  • オープンアクセス
• [雑誌論文] 機械学習における確率的最適化 (2018)
  • 著者名/発表者名: 鈴木 大慈
  • 雑誌名: 応用数理 巻: 28 号: 3 ページ: 27-33
  • DOI: 10.11540/bjsiam.28.3_27
  • NAID: 130007552778
  • ISSN: 2432-1982
  • 年月日: 2018-09-26
  • オープンアクセス
• [雑誌論文] 過学習と正則化 (2018)
  • 著者名/発表者名: 鈴木 大慈
  • 雑誌名: 応用数理 巻: 28 号: 2 ページ: 28-33
  • DOI: 10.11540/bjsiam.28.2_28
  • NAID: 130007490723
  • ISSN: 2432-1982
  • 年月日: 2018-06-26
  • オープンアクセス
• [雑誌論文] 機械学習の概要 (2018)
  • 著者名/発表者名: 鈴木 大慈
  • 雑誌名: 応用数理 巻: 28 号: 1 ページ: 32-37
  • DOI: 10.11540/bjsiam.28.1_32
  • NAID: 130007386557
  • ISSN: 2432-1982
  • 年月日: 2018-03-23
  • オープンアクセス
• [雑誌論文] Fast learning rate of non-sparse multiple kernel learning and optimal regularization strategies (2018)
  • 著者名/発表者名: Suzuki Taiji
  • 雑誌名: Electronic Journal of Statistics 巻: 12 号: 2 ページ: 2141-2192
  • DOI: 10.1214/18-ejs1399
  • 査読あり / オープンアクセス
• [雑誌論文] Generalized ridge estimator and model selection criteria in multivariate linear regression (2018)
  • 著者名/発表者名: Mori Yuichi、Suzuki Taiji
  • 雑誌名: Journal of Multivariate Analysis 巻: 165 ページ: 243-261
  • DOI: 10.1016/j.jmva.2017.12.006
  • 査読あり / オープンアクセス
• [雑誌論文] Fast generalization error bound of deep learning from a kernel perspective (2018)
  • 著者名/発表者名: Taiji Suzuki
  • 雑誌名: Proceedings of Machine Learning Research (AISTATS2018) 巻: 84
  • 査読あり / オープンアクセス
• [雑誌論文] Independently Interpretable Lasso: A New Regularizer for Sparse Regression with Uncorrelated Variables (2018)
  • 著者名/発表者名: Masaaki Takada, Taiji Suzuki, and Hironori Fujisawa
  • 雑誌名: Proceedings of Machine Learning Research (AISTATS2018) 巻: 84
  • 査読あり / オープンアクセス
• [雑誌論文] Gradient Layer: Enhancing the Convergence of Adversarial Training for Generative Models (2018)
  • 著者名/発表者名: Atsushi Nitanda and Taiji Suzuki
  • 雑誌名: Proceedings of Machine Learning Research (AISTATS2018) 巻: 84
  • 査読あり / オープンアクセス
• [雑誌論文] Functional Gradient Boosting based on Residual Network Perception (2018)
  • 著者名/発表者名: Atsushi Nitanda and Taiji Suzuki
  • 雑誌名: Proceedings of Machine Learning Research (ICML2018) 巻: 80
  • 査読あり / オープンアクセス
• [雑誌論文] Adam Induces Implicit Weight Sparsity in Rectifier Neural Networks (2018)
  • 著者名/発表者名: Yaguchi Atsushi、Suzuki Taiji、Asano Wataru、Nitta Shuhei、Sakata Yukinobu、Tanizawa Akiyuki
  • 雑誌名: IEEE International Conference on Machine Learning and Applications (ICMLA) 巻: 17
  • 査読あり / オープンアクセス
• [雑誌論文] Sample Efficient Stochastic Gradient Iterative Hard Thresholding Method for Stochastic Sparse Linear Regression with Limited Attribute Observation (2018)
  • 著者名/発表者名: Tomoya Murata, and Taiji Suzuki
  • 雑誌名: Advances in Neural Information Processing Systems 巻: 31
  • 査読あり / オープンアクセス
• [雑誌論文] Short-term local weather forecast using dense weather station by deep neural network (2018)
  • 著者名/発表者名: Yonekura Kazuo、Hattori Hitoshi、Suzuki Taiji
  • 雑誌名: 2018 IEEE International Conference on Big Data (Big Data) 巻: 1 ページ: 10-13
  • DOI: 10.1109/bigdata.2018.8622195
  • 査読あり / オープンアクセス
• [雑誌論文] 数理のクロスロード／機械学習の数理／(2) カーネル法とニューラルネットワーク (2018)
  • 著者名/発表者名: 鈴木大慈
  • 雑誌名: 数学セミナー 巻: 686
• [雑誌論文] 数理のクロスロード／機械学習の数理／(1) 深層学習の理論 (2018)
  • 著者名/発表者名: 鈴木大慈
  • 雑誌名: 数学セミナー 巻: 685
• [雑誌論文] 「機械学習と数理統計」～統計的学習理論を通じて～ (2018)
  • 著者名/発表者名: 鈴木大慈
  • 雑誌名: 数理科学 巻: 662
• [学会発表] 深層学習の数理 (2022)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 日本数学会企画特別講演
  • 招待講演
• [学会発表] Benefit of deep learning: Efficiency of function estimation and its optimization guarantee (2021)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: KSIAM2021 (Special Session: CJK-SIAM mini-symposium I: Emerging Mathematics in AI)
  • 国際学会 / 招待講演
• [学会発表] 深層学習の理論解析：非線形性と最適化動力学 (2021)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 『非線形動力学に基づく次世代AIと基盤技術』に関するシンポジウム
  • 招待講演
• [学会発表] Deep Learning Theory from Statistics to Optimization (2021)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Tutorial talk, The 6th Asian Conference on Pattern Recognition (ACPR2021)
  • 国際学会 / 招待講演
• [学会発表] Deep Learning Theory and Optimization (2021)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Tutorial talk, The Online Asian Machine Learning School (OAMLS), The 13th Asian Conference on Machine Learning (ACML2021)
  • 国際学会 / 招待講演
• [学会発表] Optimality and superiority of deep learning for estimating functions in variants of Besov spaces (2021)
  • 著者名/発表者名: Taiji Suzuki, Atsushi Nitanda, and Kazuma Tsuji
  • 学会等名: 4th International Conference on Econometrics and Statistics (EcoSta2021)
  • 国際学会
• [学会発表] ResNetのモデル圧縮手法の提案および圧縮誤差理論解析 (2021)
  • 著者名/発表者名: 平川 雅人，鈴木 大慈
  • 学会等名: 2021年度統計関連学会連合大会
• [学会発表] 教師生徒設定における勾配法による二層ReLU ニューラルネットワークの学習可能性について (2021)
  • 著者名/発表者名: 秋山 俊太，鈴木 大慈
  • 学会等名: 2021年度統計関連学会連合大会
• [学会発表] 平均場ニューラルネットワークの効率的最適化法 (2021)
  • 著者名/発表者名: 二反田 篤史，大古 一聡，Denny Wu，鈴木 大慈
  • 学会等名: 2021年度統計関連学会連合大会
• [学会発表] リンク予測におけるバイアス項によるグラフニューラルネットワークの表現力強化 (2021)
  • 著者名/発表者名: 長谷川 貴大，鈴木 大慈
  • 学会等名: 2021年度統計関連学会連合大会
• [学会発表] Particle Stochastic Dual Coordinate Ascent: Exponential convergent algorithm for mean field neural network optimization (2021)
  • 著者名/発表者名: 大古 一聡, 鈴木 大慈, 二反田 篤史, Wenny Wu
  • 学会等名: 第24回情報論的学習理論ワークショップ
• [学会発表] ノイズ付き勾配法を用いた教師生徒設定における二層ReLuニューラルネットワークの学習 (2021)
  • 著者名/発表者名: 秋山俊太, 鈴木大慈
  • 学会等名: 第24回情報論的学習理論ワークショップ
• [学会発表] 多層ニューラルネットワークモデルに基づくmatrix reordering (2021)
  • 著者名/発表者名: 渡邊千紘, 鈴木大慈
  • 学会等名: 第24回情報論的学習理論ワークショップ
• [学会発表] CGから実写への転移学習におけるスケーリング則 (2021)
  • 著者名/発表者名: Hiroaki Mikami, Kenji Fukumizu, Shogo Murai, Shuji Suzuki, Yuta Kikuchi, Taiji Suzuki, Shin-ichi Maeda, Kohei Hayashi
  • 学会等名: 第24回情報論的学習理論ワークショップ
• [学会発表] 深層ニューラルネットワークの近似理論と適応能力 (2021)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 数値解析セミナー
  • 招待講演
• [学会発表] Optimization and statistical efficiency of neural network in mean field regimes (2021)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Workshop on Functional Inference and Machine Intelligence
  • 国際学会 / 招待講演
• [学会発表] 深層学習の理論 (2021)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 言語処理学会第27回年次大会(NLP2021)
  • 招待講演
• [学会発表] Recent theoretical developments about statistical and optimization efficiency of deep learning (2021)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: First Australia-Japan Workshop on Machine Learning
• [学会発表] Benefit of deep learning: Statistical efficiency and optimization guarantee with non-convex noisy gradient descent (2021)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Statistics Seminar at University of Bristol
  • 国際学会 / 招待講演
• [学会発表] 深層学習の最適化と汎化誤差：非凸性の観点から (2020)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 物性研究所短期研究会 「量子多体計算と第一原理計算の新展開」(FQCS2020)
  • 招待講演
• [学会発表] 深層学習の数理：カーネル法，スパース推定との接点 (2020)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 画像の認識・理解シンポジウム MIRU2020
  • 招待講演
• [学会発表] 機械学習における最適化理論と学習理論的側面 (2020)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 第17回組合せ最適化セミナー
  • 招待講演
• [学会発表] 無限次元勾配ランジュバン動力学による深層学習の最適化理論と汎化誤差解析 (2020)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 九州大学統計科学セミナー
  • 招待講演
• [学会発表] 無限次元勾配ランジュバン動力学による深層学習の最適化と汎化誤差解析 (2020)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 第23回情報論的学習理論ワークショップ (IBIS2020)
  • 招待講演
• [学会発表] 無限次元勾配ランジュバン動力学によるニューラルネットワークの最適化理論と汎化誤差解析 (2020)
  • 著者名/発表者名: 鈴木 大慈
  • 学会等名: 2020年度統計関連学会連合大会
• [学会発表] 勾配ブースティング法を用いたマルチスケールグラフニューラルネットの学習とその最適化・汎化性能解析 (2020)
  • 著者名/発表者名: 大野 健太，鈴木 大慈
  • 学会等名: 2020年度統計関連学会連合大会
• [学会発表] 確率的勾配降下法のNTK理論による最適収束率 (2020)
  • 著者名/発表者名: 二反田 篤史，鈴木 大慈
  • 学会等名: 2020年度統計関連学会連合大会
• [学会発表] Latent Block Modelのブロック構造に関する選択的推論 (2020)
  • 著者名/発表者名: 渡邊 千紘，鈴木 大慈
  • 学会等名: 2020年度統計関連学会連合大会
• [学会発表] 再生核ヒルベルト空間上の非凸最適化問題に対する勾配ランジュバン動力学の収束誤差解析 (2020)
  • 著者名/発表者名: 佐藤 寛司，鈴木 大慈
  • 学会等名: 2020年度統計関連学会連合大会
• [学会発表] 変動指数Besov空間の回帰問題に対する深層学習の推定誤差解析 (2020)
  • 著者名/発表者名: 辻 和真，鈴木 大慈
  • 学会等名: 2020年度統計関連学会連合大会
• [学会発表] マルチスケールグラフニューラルネットの勾配ブースティング法による解析 (2020)
  • 著者名/発表者名: 大野 健太, 鈴木 大慈
  • 学会等名: 第23回情報論的学習理論ワークショップ (IBIS2020)
• [学会発表] 変動指数Besov 空間の回帰問題に対する深層学習の推定誤差解析 (2020)
  • 著者名/発表者名: 辻 和真, 鈴木 大慈
  • 学会等名: 第23回情報論的学習理論ワークショップ (IBIS2020)
• [学会発表] 粒子双対平均化法：平均場ニューラルネットワークの大域的収束保証付最適化法 (2020)
  • 著者名/発表者名: 二反田 篤史, Denny Wu, 鈴木 大慈
  • 学会等名: 第23回情報論的学習理論ワークショップ (IBIS2020)
• [学会発表] Statistical efficiency and optimization of deep learning from the view point of non-convexity (2020)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Applied Mathematics and Computation Seminar at UMass Amherst
  • 国際学会 / 招待講演
• [学会発表] Statistical efficiency and optimization of deep learning from the view point of non-convexity (2020)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: "AI + Math" Colloquia, Institute of Natural Sciences, Shanghai Jiao Tong University
  • 国際学会 / 招待講演
• [学会発表] Statistical efficiency and optimization of deep learning from the viewpoint of non-convexity (2020)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Math Machine Learning seminar MPI MIS + UCLA
  • 国際学会 / 招待講演
• [学会発表] 数学で解き明かす深層学習の原理 (2020)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: CREST・さきがけ・AIMaP合同シンポジウム『数学パワーが世界を変える』
  • 招待講演
• [学会発表] Fast learning rate of neural tangent kernel learning and nonconvex optimization by infinite dimensional Langevin dynamics in RKHS (2020)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Workshop on Functional Inference and Machine Intelligence
  • 国際学会 / 招待講演
• [学会発表] Generalization error bound of deep learning via spectral analysis and its application to model compression (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: 3rd International Conference on Econometrics and Statistics (EcoSta2019)
  • 国際学会
• [学会発表] Exponential Convergence of Stochastic Gradient Descent for Binary Classification Problems (2019)
  • 著者名/発表者名: Atsushi Nitanda, Taiji Suzuki
  • 学会等名: Data Science, Statistics & Visualization (DSSV2019)
  • 国際学会
• [学会発表] Toward Understanding Expressive Power of Graph Convolutional Neural Networks (2019)
  • 著者名/発表者名: Kenta Oono, Taiji Suzuki
  • 学会等名: Data Science, Statistics & Visualization (DSSV2019)
  • 国際学会
• [学会発表] スパースなパラメータ空間における深層ニューラルネットワークのミニマックス最適性および優位性について (2019)
  • 著者名/発表者名: 早川知志, 鈴木大慈
  • 学会等名: 2019年度統計関連学会連合大会
• [学会発表] Bayesian optimization for dose finding studies (2019)
  • 著者名/発表者名: 高橋亜実, 鈴木大慈
  • 学会等名: 2019年度統計関連学会連合大会
• [学会発表] 深層ニューラルネットワークの圧縮可能性を用いた非圧縮ネットワークの汎化誤差解析 (2019)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 2019年度統計関連学会連合大会
• [学会発表] 識別問題に対する高次元二層ニューラルネットの勾配法による汎化性能解析 (2019)
  • 著者名/発表者名: 二反田 篤史, 鈴木大慈
  • 学会等名: 2019年度統計関連学会連合大会
• [学会発表] グラフスペクトルを介した深層グラフモデルの漸近挙動解析 (2019)
  • 著者名/発表者名: 大野健太, 鈴木大慈
  • 学会等名: 2019年度統計関連学会連合大会
• [学会発表] カーネル法におけるrandom featureを用いた確率的勾配法の期待識別誤差の線形収束性 (2019)
  • 著者名/発表者名: 八嶋晋吾, 二反田 篤史, 鈴木大慈
  • 学会等名: 2019年度統計関連学会連合大会
• [学会発表] Random Featureを用いた確率的勾配法の期待識別誤差の収束解析 (2019)
  • 著者名/発表者名: 八嶋晋吾, 二反田篤史, 鈴木大慈
  • 学会等名: IBIS2019
• [学会発表] Latent Block Modelのクラスタ数に関する適合度検定 (2019)
  • 著者名/発表者名: 渡邊千紘, 鈴木大慈
  • 学会等名: IBIS2019
• [学会発表] 高次元二層ニューラルネットに対する勾配降下法による識別誤差の大域収束性と汎化性能解析 (2019)
  • 著者名/発表者名: 二反田篤史, 鈴木大慈
  • 学会等名: IBIS2019
• [学会発表] Generalization error of deep learning and its learning dynamics from compression ability point of view (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: The 11th Innovation with Statistics and Data Science (ICSA 2019)
  • 国際学会
• [学会発表] 深層ニューラルネットワークの適応能力：関数空間におけるスパース推定との接点 (2019)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 第9回 脳型人工知能とその応用ミニワークショップ
  • 招待講演
• [学会発表] Adaptivity of deep learning in Besov space with its connection to sparse estimation (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Third International Workshop on Symbolic-Neural Learning (SNL-2019)
  • 国際学会 / 招待講演
• [学会発表] Compression Based Bound for Non-compressed Deep Neural Network Models and Their Data Adaptivity (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Data Science, Statistics & Visualization (DSSV2019)
  • 国際学会 / 招待講演
• [学会発表] Introduction to machine learning and deep learning theories: statistics and optimization (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: 4th International Symposium on Research and Education of Computational Science (RECS2019)
  • 国際学会 / 招待講演
• [学会発表] 深層ニューラルネットワークの適応能力：関数空間におけるスパース推定との接点 (2019)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 武蔵野大学数理工学シンポジウム2019
  • 招待講演
• [学会発表] Generalization analysis and optimization of deep learning: adaptivity and kernel view (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: EPFL Machile Learning Seminer
  • 国際学会 / 招待講演
• [学会発表] Estimation ability of deep learning with connection to sparse estimation in function space (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: 4TU AMI annual event Mathematics of Deep Learning
  • 国際学会 / 招待講演
• [学会発表] 深層学習における汎化誤差理論とその応用および非凸確率的最適化 (2019)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 第七回数理ファイナンス合宿型セミナー
  • 招待講演
• [学会発表] 深層学習における高次元性 (2019)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 金融工学・数理計量ファイナンスの諸問題 2019
  • 招待講演
• [学会発表] 深層ニューラルネットワークの汎化誤差とそのスパース推定との接点 (2019)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 応用統計ワークショップ
  • 招待講演
• [学会発表] Adaptivity of deep ReLU network and its generalization error analysis (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: The Second Korea-Japan Machine Learning Workshop
  • 国際学会 / 招待講演
• [学会発表] Compressing deep neural network and its generalization error analysis via kernel theory (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Reinforcement Learning & Biological Intelligence, learning from biology, learning for biology
  • 国際学会 / 招待講演
• [学会発表] Besov空間における深層学習の汎化誤差解析およびモデル解析への応用 (2019)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 愛媛大学理学部理学科数学・数理情報コース数学談話会
  • 招待講演
• [学会発表] 深層ニューラルネットワークの適応能力と汎化誤差解析 (2019)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: AIMaPワークショップ「非ノイマン型計算、理論と応用」
  • 招待講演
• [学会発表] Generalization error of deep learning with connection to sparse estimation in function space (2019)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Workshop on Functional Inference and Machine Intelligence
  • 国際学会 / 招待講演
• [学会発表] Generalization Error and Compressibility of Deep Learning via Kernel Analysis (2018)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Tokyo Deep Learning Workshop (Deep Learning: Theory, Algorithms, and Applications)
  • 国際学会 / 招待講演
• [学会発表] 統計・機械学習における確率的最適化 (2018)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 統計数理研究所公開講座
  • 招待講演
• [学会発表] 深層学習の統計的学習理論：カーネル法とウェーブレット解析による視点 (2018)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 第3回統計・機械学習若手シンポジウム「統計・機械学習の交わりと拡がり」
  • 招待講演
• [学会発表] 機械学習における構造を利用した確率的最適化技法 (2018)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 2018年電子情報通信学会基礎・境界ソサイエティ大会大会
  • 招待講演
• [学会発表] 深層学習の汎化誤差理論とそのモデル解析への応用 (2018)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 2018年日本数学会秋季総合分科会
  • 招待講演
• [学会発表] 機械学習の現状と深層学習の数理 (2018)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 山形大学データサイエンス推進室キックオフミーティング
  • 招待講演
• [学会発表] Adaptivity of Deep ReLU Network for Learning in Besov Spaces (2018)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: Forum "Math-for-Industry" 2018 - Big Data Analysis, AI, Fintech, Math in Finances and Economics -
  • 国際学会 / 招待講演
• [学会発表] 深層学習のカーネル法による汎化誤差解析とその適応能力の評価 (2018)
  • 著者名/発表者名: 鈴木大慈
  • 学会等名: 京都大学数学教室・数理解析研究所談話会
  • 招待講演
• [学会発表] 強低ノイズ条件下識別問題に対する確率的勾配降下法の線形収束性 (2018)
  • 著者名/発表者名: 二反田 篤史，鈴木 大慈
  • 学会等名: IBIS2018
• [学会発表] 確率的勾配降下法による期待識別誤差の線形収束性 (2018)
  • 著者名/発表者名: 二反田 篤史，鈴木 大慈
  • 学会等名: 統計関連学会連合大会
• [学会発表] Generalization error analysis of deep learning: avoiding curse of dimensionality and practical application (2018)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: 統計関連学会連合大会，2018 CSA-KSS-JSS Joint International Sessions: Machine Learning
  • 国際学会
• [学会発表] 統計学と機械学習，そして人工知能 (2018)
  • 著者名/発表者名: 鈴木 大慈
  • 学会等名: 統計関連学会連合大会
• [学会発表] Sparse Modeling with Uncorrelated Variables (2018)
  • 著者名/発表者名: Masaaki Takada, Taiji Suzuki and Hironori Fujisawa
  • 学会等名: 統計関連学会連合大会
• [学会発表] Accelerated stochastic optimization for finite sum regularized empirical risk minimization (2018)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: First Conference on Discrete Optimization and Machine Learning
  • 国際学会
• [学会発表] Estimating nonlinear tensor product in infinite dimensional functional space by kernel and neural network models (2018)
  • 著者名/発表者名: Taiji Suzuki
  • 学会等名: IMS-APRM2018
  • 国際学会
• [学会発表] 深層学習の汎化誤差理論とモデル圧縮への応用 (2018)
  • 著者名/発表者名: 鈴木 大慈
  • 学会等名: 「人工知能を用いた統合的ながん医療システムの開発」CRESTセミナー
• [備考] Taiji Suzuki's home page
  • URL: http://ibis.t.u-tokyo.ac.jp/suzuki/
• [備考] http://ibis.t.u-tokyo.ac.jp/suzuki/
• [産業財産権] 気象予測システム、気象予測方法、および気象予測プログラム (2018)
  • 発明者名: 米倉一男，鈴木大慈
  • 権利者名: 米倉一男，鈴木大慈
  • 産業財産権種類: 特許
  • 産業財産権番号: 2018-227904
  • 出願年月日: 2018
  • 外国