• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

階層モデルの幾何学に基づく深層学習の理論構築と制御

研究課題

研究課題/領域番号 17H07390
研究種目

研究活動スタート支援

配分区分補助金
研究分野 ソフトコンピューティング
研究機関国立研究開発法人産業技術総合研究所

研究代表者

唐木田 亮  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (30803902)

研究期間 (年度) 2017-08-25 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2018年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2017年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワードニューラルネットワーク / 機械学習 / 深層学習 / 数理工学 / 情報幾何 / 統計力学 / 人工知能 / ソフトコンピューティング
研究成果の概要

本研究課題では, 幾何学の視点に基づいたアルゴリズムの提案と理論解析をとおして, 制御が容易な深層学習の数理基盤の構築と開発を行った. 具体的には, パラメータ空間の幾何学を定めるFisher情報行列の解析とそれに基づく勾配法の開発を行った. また, 素子の入れ替え対称性は学習が停滞する特異領域をもたらすが, この特異領域を回避する条件を明らかにした. さらに, 深層学習の応用上重要なWasserstein距離を情報幾何学的に調べるとともに, より自然なコスト関数の設計指針を与えた.

研究成果の学術的意義や社会的意義

深層学習は実用ベースの開発が進み, 収束や解の性質が数理的に保証されていないヒューリスティクスへの依存が大きく, 恣意性が多く学習の制御が難しい問題がある. 本研究はこの問題に数理的な解決の基盤を与えている点で意義深い. 今後, 誰にでも使いやすい深層学習の開発につながることが期待できる. また, 学習の挙動に性能保証を与えることは, 安全性や信頼性が必要とされる実応用に深層学習を広げていくための土台となることも期待できる.

報告書

(3件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実績報告書
  • 研究成果

    (20件)

すべて 2019 2018 2017 その他

すべて 国際共同研究 (1件) 雑誌論文 (7件) (うち国際共著 1件、 査読あり 7件、 オープンアクセス 4件) 学会発表 (9件) (うち国際学会 2件、 招待講演 4件) 図書 (1件) 備考 (2件)

  • [国際共同研究] ENSAE(フランス)

    • 関連する報告書
      2018 実績報告書
  • [雑誌論文] Information geometry for regularized optimal transport and barycenters of patterns2019

    • 著者名/発表者名
      Shun-ichi Amari, Ryo Karakida, Masafumi Oizumi, Marco Cuturi
    • 雑誌名

      Neural Computation

      巻: 31 号: 5 ページ: 827

    • DOI

      10.1162/neco_a_01178

    • 関連する報告書
      2018 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Fisher Information and Natural Gradient Learning in Random Deep Networks2019

    • 著者名/発表者名
      Shun-ichi Amari, Ryo Karakida, Masafumi Oizumi
    • 雑誌名

      Proceedings of Machine Learning Research (AISTATS)

      巻: 89 ページ: 694-702

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Universal Statistics of Fisher Information in Deep Neural Networks: Mean Field Approach2019

    • 著者名/発表者名
      Ryo Karakida, Shotaro Akaho, Shun-ichi Amari
    • 雑誌名

      Proceedings of Machine Learning Research (AISTATS)

      巻: 89 ページ: 1032-1041

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Statistical mechanical analysis of learning dynamics of two-layer perceptron with multiple output units2019

    • 著者名/発表者名
      Yuki Yoshida, Ryo Karakida, Masato Okada, Shun-ichi Amari
    • 雑誌名

      Journal of Physics A: Mathematical and Theoretical

      巻: 52 ページ: 1-17

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Dynamics of learning in MLP: Natural gradient and singularity revisited2018

    • 著者名/発表者名
      Amari Shun-ichi、Ozeki Tomoko、Karakida Ryo、Yoshida Yuki、Okada Masato
    • 雑誌名

      Neural Computation

      巻: 30 号: 1 ページ: 1

    • DOI

      10.1162/neco_a_01029

    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [雑誌論文] Information geometry connecting Wasserstein distance and Kullback–Leibler divergence via the entropy-relaxed transportation problem2018

    • 著者名/発表者名
      Amari Shun-ichi、Karakida Ryo、Oizumi Masafumi
    • 雑誌名

      Information Geometry

      巻: 1 号: 1 ページ: 13

    • DOI

      10.1007/s41884-018-0002-8

    • 関連する報告書
      2017 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Information geometry of wasserstein divergence2017

    • 著者名/発表者名
      Karakida Ryo、Amari Shun-ichi
    • 雑誌名

      Proceedings of Geometric Science of Information

      巻: - ページ: 119

    • DOI

      10.1007/978-3-319-68445-1_14

    • ISBN
      9783319684444, 9783319684451
    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [学会発表] ランダム深層ニューラルネットの摂動に対する応答の普遍性2019

    • 著者名/発表者名
      唐木田亮, 赤穂昭太郎, 甘利俊一
    • 学会等名
      日本物理学会第74回年次大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 層ニューラルネットワークにおけるFisher情報行列の普遍性2018

    • 著者名/発表者名
      唐木田亮
    • 学会等名
      第30回RAMPシンポジウム
    • 関連する報告書
      2018 実績報告書
    • 招待講演
  • [学会発表] 機械学習から見たニューラルネットワークの数理2018

    • 著者名/発表者名
      唐木田亮
    • 学会等名
      東京理科大学 脳学際研究部門 第2回公開シンポジウム "脳のサイエンス"
    • 関連する報告書
      2018 実績報告書
    • 招待講演
  • [学会発表] Theoretical analysis of RBMs with Gaussian visible units - Dynamical analysis and Riemannian optimization -2018

    • 著者名/発表者名
      Ryo Karakida
    • 学会等名
      Americal Institute of Mathematics (AIM) workshop "Boltzmann machines"
    • 関連する報告書
      2018 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 深層ニューラルネットワークにおけるFisher情報行列の普遍性2018

    • 著者名/発表者名
      唐木田亮, 赤穂昭太郎, 甘利俊一
    • 学会等名
      IBIS2018
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 深層ニューラルネットワークの数理: 平均場理論の視点2018

    • 著者名/発表者名
      唐木田亮
    • 学会等名
      産総研AIセミナー
    • 関連する報告書
      2018 実績報告書
  • [学会発表] ランダム深層ニューラルネットワークにおけるFisher情報行列の巨視的理論2018

    • 著者名/発表者名
      唐木田亮、赤穂昭太郎、甘利俊一
    • 学会等名
      日本物理学会年次大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Information Geometry of Wasserstein Divergence2017

    • 著者名/発表者名
      Ryo Karakida、Shun-ichi Amari
    • 学会等名
      Geometric Science of Information
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] エントロピー正則化付きWasserstein距離の情報幾何2017

    • 著者名/発表者名
      唐木田亮
    • 学会等名
      第64回幾何学シンポジウム
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [図書] 数理科学 (深層学習の数理)2018

    • 著者名/発表者名
      唐木田亮, 麻生英樹
    • 総ページ数
      8
    • 出版者
      サイエンス社
    • 関連する報告書
      2018 実績報告書
  • [備考] 研究代表者web site

    • URL

      https://sites.google.com/view/ryokarakida/

    • 関連する報告書
      2018 実績報告書
  • [備考] 唐木田亮ウェブサイト

    • URL

      https://sites.google.com/view/ryokarakida/

    • 関連する報告書
      2017 実績報告書

URL: 

公開日: 2017-08-25   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi