• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Research-status Report

深層学習の原理究明に向けた関数推定理論の開発

Research Project

Project/Area Number 18K18114
Research InstitutionThe Institute of Statistical Mathematics

Principal Investigator

今泉 允聡  統計数理研究所, 数理・推論研究系, 助教 (90814088)

Project Period (FY) 2018-04-01 – 2022-03-31
Keywords深層学習 / ノンパラメトリック統計学 / 学習理論
Outline of Annual Research Achievements

本研究課題は、深層学習が高性能を発揮する原因を解明するための、統計理論の構築を行っている。深層学習は非常に高い性能を持つ手法として近年強い注目を浴びているが、その理由を十分に解明する理論は未だ確立されていない。本研究では、その原理の究明を目的として、統計理論、特にノンパラメトリック統計学の関数推定の理論の構築を行なっている。
今年度の成果は、主に三点挙げられる。一つ目は、データを推定する関数の特異性について、関連手法との関係を明らかにしたことである。データを推定する関数が非連続な時に深層学習が優位性を持つことは、以前の年度のこの研究の成果であった。今年度はそれをさらに深掘り、関数が持つ非連続性の性質、すなわち特異性を持つ点の集合との関連を明らかにした。
二つ目は、データの固有次元と深層学習の関係である。機械学習で用いられるデータの多くが、名目上の次元より低い固有の次元を持っていることはよく知られている。本研究ではこの関係に注目し、データが小さな固有次元を持つ時に、深層学習の性能もそれに応じて改善することを示した。また、そのような固有次元に対する適応性を持つ手法は他にも複数知られているが、本研究では深層学習でのみ解決できることが示されている次元の種類があることを発見した。
三つ目は、データの不変性との関連である。先程の固有次元と類似した現象で、データが特有の不変性を持つことはよく知られている。本研究では、データが不変性を持つときの深層学習手法について、その不変性と汎化誤差との関連性を明らかにし、深層学習の構造が不変性に対して優位に働くことを示した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究は、申請時に立てた研究計画の目的A「深層学習の非滑らかな関数推定の精度解析」、B「深層学習が優位性を発揮する状況の解析」、C「深層学習の実用化に向けたモデル構築法の開発」のうち、A,Bの相当割合を達成していると言える。すなわち、統計理論や学習理論を用いて深層学習の精度を解析し、またその優位性を明らかにする状況を複数発見している。具体的に扱っている性質も、データの特異性や不変性など一般的に重要視されている性質が多く、汎用的な問題関心について研究を進めていると考えられる。

Strategy for Future Research Activity

今後の研究課題は、以下の二点を中心に行う。

一つ目は、深層学習の分散に関する研究課題である。これは、汎化の謎としてもよく知られている課題で、深層学習が巨大モデルを使うにもかかわらず、過適合を発生させない原因を明らかにしようとするものである。本研究の課題は、これまではデータを生成する関数の性質に着目するものが多かったが、この課題はモデルに着目する点が多く、全く別のアプローチが必要である。これに対して、本研究では解析のための数学的方法の開発に着手しており、これらを用いた理論の開発を推進する予定である。

二つ目は、深層学習の学習手法の開発である。これは、本研究計画の申請書の目的Cに該当する。すなわち、理論的知見をもとにして、深層学習の実用を効率化できる手法の開発を行う。これも準備段階に既に着手しており、今年度中に一つの成果を出せることが見込まれている。

Causes of Carryover

コロナウイルスの関係で、いくつかの学会がキャンセルになり、その分の旅費・滞在費が未使用になったため。

  • Research Products

    (31 results)

All 2020 2019 Other

All Int'l Joint Research (3 results) Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (26 results) (of which Int'l Joint Research: 12 results,  Invited: 14 results)

  • [Int'l Joint Research] インド工科大学(インド)

    • Country Name
      INDIA
    • Counterpart Institution
      インド工科大学
  • [Int'l Joint Research] ペンシルバニア州立大学/コーネル大学/ニューヨーク大学(米国)

    • Country Name
      U.S.A.
    • Counterpart Institution
      ペンシルバニア州立大学/コーネル大学/ニューヨーク大学
  • [Int'l Joint Research] ライデン大学(オランダ)

    • Country Name
      NETHERLANDS
    • Counterpart Institution
      ライデン大学
  • [Journal Article] On Random Subsampling of Gaussian Process Regression: A Graphon-Based Analysis2020

    • Author(s)
      K.Hayashi, M.Imaizumi, Y,Yoshida
    • Journal Title

      Proceedings of Machine Learning Research (AI & Statistics)

      Volume: To appear Pages: To appear

    • Peer Reviewed / Open Access
  • [Journal Article] Deep Neural Networks Learn Non-Smooth Functions Effectively2019

    • Author(s)
      M.Imaizumi, K.Fukumizu
    • Journal Title

      Proceedings of Machine Learning Research (AI & Statistics)

      Volume: 84 Pages: 869-878

    • Peer Reviewed / Open Access
  • [Presentation] Statistical inference on M-estimators by high-dimensional Gaussian approximation2020

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      Workshop on Functional Inference and Machine Intelligence 2020
    • Int'l Joint Research / Invited
  • [Presentation] 層学習の原理を明らかにする理論の試み2019

    • Author(s)
      今泉允聡
    • Organizer
      統計数理研究所オープンハウス
    • Invited
  • [Presentation] 深層学習による関数推定と特異性2019

    • Author(s)
      今泉允聡
    • Organizer
      京都大学RIMS共同研究集会
    • Invited
  • [Presentation] 深層学習の理論2019

    • Author(s)
      今泉允聡
    • Organizer
      IBIS2020 企画セッション
    • Invited
  • [Presentation] 深層学習入門2019

    • Author(s)
      今泉允聡
    • Organizer
      IBIS2020 チュートリアル
    • Invited
  • [Presentation] 深層学習の原理を明らかにする理論の試み2019

    • Author(s)
      今泉允聡
    • Organizer
      ビッグデータCREST合宿
    • Invited
  • [Presentation] 深層学習の原理を明らかにする理論の試み2019

    • Author(s)
      今泉允聡
    • Organizer
      大阪大学MMDS AI・データ利活用研究会
    • Invited
  • [Presentation] Deep Neural Networks Learn Non-Smooth Functions Effectively2019

    • Author(s)
      今泉允聡
    • Organizer
      AIMaP若手数学者交流会
  • [Presentation] Statistical Inference on M-estimators by High-dimensional Gaussian Approximation2019

    • Author(s)
      今泉允聡
    • Organizer
      日本統計学会春季集会
  • [Presentation] Generalization Analysis for Mechanism of Deep Neural Networks via Nonparametric Statistics2019

    • Author(s)
      今泉允聡
    • Organizer
      理研AIP数学セミナー
  • [Presentation] 深層学習の原理を明らかにする理論の試み2019

    • Author(s)
      今泉允聡
    • Organizer
      松尾研セミナー
  • [Presentation] 深層学習の高速化にむけた適応ネットワークの数学的発見と学習法開発2019

    • Author(s)
      今泉允聡
    • Organizer
      さきがけ領域会議
  • [Presentation] 深層学習・関数データ・高次元ガウス近似2019

    • Author(s)
      今泉允聡
    • Organizer
      Overfit Summer Seminar
  • [Presentation] 深層学習の高速化にむけた適応ネットワークの数学的発見と学習法開発2019

    • Author(s)
      今泉允聡
    • Organizer
      情報系WinterFesta
  • [Presentation] 深層学習の原理を明らかにする理論の試み2019

    • Author(s)
      今泉允聡
    • Organizer
      九大IMI特別セミナー
  • [Presentation] Statistical Inference on M-estimators by High-dimensional Gaussian Approximation2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      東北大学データサイエンスセミナー
    • Int'l Joint Research
  • [Presentation] 深層学習の高速化にむけた適応ネットワークの数学的発見と学習法開発2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      さきがけ領域会議
    • Int'l Joint Research
  • [Presentation] Generalization Analysis for Mechanism of Deep Learning via Nonparametric Statistics2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      International Chinese Statistical Association
    • Int'l Joint Research / Invited
  • [Presentation] Statistical inference on M-estimators by high-dimensional Gaussian approximation2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      CM-Statistics
    • Int'l Joint Research / Invited
  • [Presentation] Generalization Analysis for Mechanism of Deep Learning via Nonparametric Statistics2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      International Statistical Institute World Statistics Congress 2019
    • Int'l Joint Research / Invited
  • [Presentation] Statistical Estimation for Non-Smooth Functions by Deep Neural Networks2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      Joint Statistical Meeting
    • Int'l Joint Research / Invited
  • [Presentation] Generalization Analysis for Mechanism of Deep Learning via Nonparametric Statistics2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      Third International Workshop on Symbolic-Neural Learning (SNL-2019)
    • Int'l Joint Research / Invited
  • [Presentation] Deep Neural Networks Learn Non-Smooth Functions Effectively2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      IMS-China International Conference on Statistics and Probability
    • Int'l Joint Research / Invited
  • [Presentation] Inference on level sets in functional linear regression2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      Econometrics and Statistics
    • Int'l Joint Research / Invited
  • [Presentation] Generalization Analysis for Mechanism of Deep Learning by Statistics and Learning Theory2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      Seoul National University Seminar
    • Int'l Joint Research
  • [Presentation] Generalization Analysis for Mechanism of Deep Learning by Statistics and Learning Theory2019

    • Author(s)
      Masaaki Imaizumi
    • Organizer
      Penn State University Seminar
    • Int'l Joint Research

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi