• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Research-status Report

ニューラルネットワークの特異点の解消

Research Project

Project/Area Number 16K00347
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

新田 徹  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (20357726)

Project Period (FY) 2016-04-01 – 2021-03-31
Keywordsニューラルネットワーク / 特異点 / 深層学習 / ディープラーニング / 危点 / 学習
Outline of Annual Research Achievements

通常に比べて特異点が少ない深層実数型ニューラルネットワークを提案した。まず、深層複素数型ニューラルネットワークと等価な深層実数型ニューラルネットワークにおいて、いくつかの特異点が複素数に基づく性質により自ずと解消されていることを数理的に示した。そのような深層実数型ニューラルネットワークでは、特異点に起因するローカルミニマムやプラトーに陥ることが少なくなると考えられる。次に、コンピュータ・シミュレーションにより、極端な非線型性を持つTwo spirals問題(ベンチマーク問題)の求解を通じて上記結果を検証した。つまり、実数型ニューラルネットワークでは、ナイーブなネットワークの場合、3~5層ネットワークで解くことはできず、フィードバックループを付加した5層ネットワークでようやく解けたという報告がある。それに対して、複素ニューラルネットワークでは、3層ネットワークでは解くことはできないものの、ナイーブな4層ネットワークでTwo spirals問題を解くことができた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

昨年度に引き続き、研究動向に鑑みて平成31年度に行う予定の研究テーマを先取りして実施し、研究発表も行った。本研究課題全体としては、概ね順調に進展していると考えている。

Strategy for Future Research Activity

個々の特異点の特定も大切ではあるが、急変しつつある世界的な研究の動向に鑑みて、特異点の定性的な情報に関する研究に重点を移してゆく予定である。

Causes of Carryover

<次年度使用が生じた理由>国内開催の国際会議において研究成果を発表したため、旅費が想定よりも少なく済んだ。コンピュータ・シミュレーション用にパーソナルコンピュータを1台購入したが、想定していた性能の製品を予定の価格よりも低価格で購入することができた。英文校正費として残していたが、2017度中に間に合わなかったため2018年度使用とした。

<使用計画>成果発表用のタブレット端末、論文掲載料、研究調査・成果発表のための旅費、学会参加費、英文校正、和文英訳などに支出する予定である。

  • Research Products

    (3 results)

All 2018 2017

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (2 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Hyperbolic Gradient Operator and Hyperbolic Back-Propagation Learning Algorithms2018

    • Author(s)
      Nitta Tohru、Kuroe Yasuaki
    • Journal Title

      IEEE Transactions on Neural Networks and Learning Systems

      Volume: 29 Pages: 1689~1702

    • DOI

      10.1109/TNNLS.2017.2677446

    • Peer Reviewed
  • [Presentation] Resolution of Singularities via Deep Complex-Valued Neural Networks2017

    • Author(s)
      新田徹
    • Organizer
      Empowering Novel Geometric Algebra for Graphics & Engineering Workshop
    • Int'l Joint Research
  • [Presentation] 階層型双曲ニューラルネットワークの学習特性2017

    • Author(s)
      新田徹、黒江康明
    • Organizer
      東北大学電気通信研究所共同プロジェクト研究研究会「高次元ニューラルネットワークにおける情報表現の最適化」

URL: 

Published: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi