• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

ニューラルネットワークの特異点の解消

研究課題

研究課題/領域番号 16K00347
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 ソフトコンピューティング
研究機関立教大学 (2021-2022)
国立研究開発法人産業技術総合研究所 (2016-2020)

研究代表者

新田 徹  立教大学, 人工知能科学研究科, 特任教授 (20357726)

研究期間 (年度) 2016-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2020年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2019年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2018年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2017年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2016年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
キーワードニューラルネットワーク / 特異点 / 深層学習 / ディープラーニング / 危点 / 学習 / 人工知能 / 機械学習 / ソフトコンピューティング / アルゴリズム
研究成果の概要

ニューラルネットワークの特異点の特性の一端を明らかにした。つまり、深層ニューラルネットワークが数多くの「階層構造に基づいた特異点」を持っていることを数理的に明らかにし、そのような特異点を持たないための十分条件を明らかにした。また、深層複素数型ニューラルネットワークと等価な深層実数型ニューラルネットワークにおいて、いくつかの特異点が複素数に基づく性質により自ずと解消されていることを数理的に示した。さらに、非線形な深層ニューラルネットワークが(学習性能に悪い影響を与える)悪い局所解(学習誤差の大きい局所解)を持たないための十分条件を明らかにした。

研究成果の学術的意義や社会的意義

深層学習技術では、大量のパラメータの調整が必要であるため、学習が行える適切な条件を特定するのに大変な労力がかかっている。ニューラルネットワークには、学習に悪い影響を与える多くの特異点が存在するからである。本研究では、ニューラルネットワークの特異点の特性を明らかにし、特異点を持たないための十分条件を導いた。また、特異点を持たないタイプのニューラルネットワークを提示した。これらの研究成果は深層ニューラルネットワークの学習性能向上に、引いては現在世界的に進められている深層学習を利用した社会実装に資するものと考えられる。

報告書

(8件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (20件)

すべて 2023 2022 2021 2020 2019 2018 2017 2016

すべて 雑誌論文 (5件) (うち国際共著 1件、 査読あり 5件、 オープンアクセス 1件、 謝辞記載あり 1件) 学会発表 (15件) (うち国際学会 6件、 招待講演 2件)

  • [雑誌論文] Proposal of fully augmented complex-valued neural networks2023

    • 著者名/発表者名
      Nitta Tohru
    • 雑誌名

      Nonlinear Theory and Its Applications, IEICE

      巻: 14 号: 2 ページ: 175-192

    • DOI

      10.1587/nolta.14.175

    • ISSN
      2185-4106
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Hypercomplex Widely Linear Estimation Through the Lens of Underpinning Geometry2019

    • 著者名/発表者名
      Tohru Nitta, Masaki Kobayashi, Danilo P. Mandic
    • 雑誌名

      IEEE Transactions on Signal Processing

      巻: 67 号: 15 ページ: 3985-3994

    • DOI

      10.1109/tsp.2019.2922151

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Resolution of Singularities via Deep Complex-Valued Neural Networks2018

    • 著者名/発表者名
      Nitta Tohru
    • 雑誌名

      Mathematical Methods in the Applied Sciences

      巻: 41 号: 11 ページ: 4170-4178

    • DOI

      10.1002/mma.4434

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] Hyperbolic Gradient Operator and Hyperbolic Back-Propagation Learning Algorithms2018

    • 著者名/発表者名
      Nitta Tohru、Kuroe Yasuaki
    • 雑誌名

      IEEE Transactions on Neural Networks and Learning Systems

      巻: 29 号: 5 ページ: 1689-1702

    • DOI

      10.1109/tnnls.2017.2677446

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Resolution of Singularities Introduced by Hierarchical Structure in Deep Neural Networks2017

    • 著者名/発表者名
      新田徹
    • 雑誌名

      IEEE Trans. Neural Networks and Learning Systems

      巻: 印刷中 号: 10 ページ: 2282-2293

    • DOI

      10.1109/tnnls.2016.2580741

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [学会発表] Sequential Learning on sEMGs in Short- and Long-term Situations via Self-Training Semi-Supervised Support Vector Machine2022

    • 著者名/発表者名
      Y. Okawa, S. Kanoga, T. Hoshino and T. Nitta
    • 学会等名
      Proceedings of the 44th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2022), Glasgow, UK, July 11-15, pp.3232-3235
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Fully Augmented Complex-Valued Neural Networks2022

    • 著者名/発表者名
      T. Nitta
    • 学会等名
      Proceedings of the 2022 International Symposium on Nonlinear Theory and its Applications (NOLTA2022) (Full-Online), Dec. 12-15, pp.248-251
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 高次元ニューラルネットワーク2022

    • 著者名/発表者名
      新田徹
    • 学会等名
      東京女子大学学会
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] 双対数を用いたニューラルネットワークとその学習特性2022

    • 著者名/発表者名
      大河勇斗、新田徹
    • 学会等名
      東北大学 電気通信研究所 共同プロジェクト研究研究会:「高次元・時空間ニューロダイナミクスとそれに基づくシステム構築への展開」
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Learning Properties of Feedforward Neural Networks Using Dual Numbers2021

    • 著者名/発表者名
      Yuto Okawa, Tohru Nitta
    • 学会等名
      13th Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 直交変数可換四元数ニューロンの基本構造2021

    • 著者名/発表者名
      新田 徹,Hui Hu GAN
    • 学会等名
      東北大学電気通信研究所共同プロジェクト研究研究会:「高次元ニューロダイナミクスとそのニューロハードウェア構築への展開」
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Fundamental Structure of Orthogonal Variable Commutative Quaternion Neurons2020

    • 著者名/発表者名
      Tohru Nitta, Hui Hu GAN
    • 学会等名
      Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems, SCIS & ISIS2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] 双曲勾配オペレータと階層型双曲ニューラルネットワーク2019

    • 著者名/発表者名
      新田 徹
    • 学会等名
      福岡大学情報数理セミナー
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] On the Equivalence between Hypercomplex Widely Linear Estimation and its Real Vector Counterpart2018

    • 著者名/発表者名
      新田徹、小林正樹、Danilo, P. Mandic
    • 学会等名
      東北大学電気通信研究所共同プロジェクト研究研究会「高次元ニューロダイナミクスとそのニューロハードウエア構築への展開」
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Resolution of Singularities via Deep Complex-Valued Neural Networks2017

    • 著者名/発表者名
      新田徹
    • 学会等名
      Empowering Novel Geometric Algebra for Graphics & Engineering Workshop
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 階層型双曲ニューラルネットワークの学習特性2017

    • 著者名/発表者名
      新田徹、黒江康明
    • 学会等名
      東北大学電気通信研究所共同プロジェクト研究研究会「高次元ニューラルネットワークにおける情報表現の最適化」
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 深層複素ニューラルネットワークの学習特性2016

    • 著者名/発表者名
      新田徹
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会
    • 発表場所
      滋賀県立体育館(滋賀県大津市)
    • 年月日
      2016-12-06
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] On the Singularity in Deep Neural Networks2016

    • 著者名/発表者名
      新田徹
    • 学会等名
      The 23rd International Conference on Neural Information Processing
    • 発表場所
      京都大学(京都府京都市)
    • 年月日
      2016-10-16
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] 深層複素ニューラルネットワークの学習特性2016

    • 著者名/発表者名
      新田徹
    • 学会等名
      計測自動制御学会 第9回コンピュテーショナル・インテリジェンス研究会
    • 発表場所
      千葉大学(千葉県千葉市)
    • 年月日
      2016-07-08
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 複素ニューラルネットワークによるTwo Spirals Problemの求解2016

    • 著者名/発表者名
      新田徹
    • 学会等名
      東北大学電気通信研究所共同プロジェクト研究研究会「高次元ニューラルネットワークにおける情報表現の最適化」
    • 発表場所
      東北大学電気通信研究所(宮城県仙台市)
    • 関連する報告書
      2016 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi