• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Foundation of algorithm designs for artificial neural networks

Research Project

Project/Area Number 19K11817
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 60010:Theory of informatics-related
Research InstitutionYamagata University

Principal Investigator

Uchizawa Kei  山形大学, 大学院理工学研究科, 准教授 (90510248)

Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords計算の複雑さ / ニューラルネットワーク / しきい値回路 / 計算複雑さ / アルゴリズム / 回路計算量理論
Outline of Research at the Start

本研究は,重みなどのパラメータが既に定まったニューラルネットワークを入力とする,様々な決定問題を厳密に定式化し,それらの計算容易性,および計算困難性を明らかにすることを目指すものである.現在,多くの情報処理タスクに対して,機械学習によって得られたニューラルネットワークが卓越した性能を見せている.本研究が進展することにより,こうした構築が完了したニューラルネットワークが目に見えない形で背後に構築している情報を取り出すアルゴリズム技術の基盤を構築できる可能性がある.

Outline of Final Research Achievements

We consider computational tasks of deciding if a given neural network possesses various predefined mathematical properties, and investigate how many computational resources are required to compute them. We then show that there exists a property for which it can be computationally very hard to check even if a given neural network is extremely simple (i.e., a neural network is of a single neuron). We also show that another property is computationally hard to check when a given neural network has two layers, while the property is easy to check (solvable in polynomial time) when a given neural network consists of a single neuron. Our results theoretically confirm that extracting information from multi-layer neural network can be computationally very hard.

Academic Significance and Societal Importance of the Research Achievements

本研究で得られた成果により,パラメータの定まったニューラルネットワークの性質を問う判定問題は,入力として与えられるニューラルネットワークの構造の違いや,判定問題として問う性質の違いによって,多項式時間で解ける場合から,現実的な時間では解けないと考えられるほど難しい問題となる場合まで,非常に幅広く変化することを明らかにすることができた.特に,段数の大きいニューラルネットワークが深層学習の分野で高い能力を示す一方で,段数の大きな学習済みのニューラルネットワークから情報を取り出すタスクが計算困難になりやすいことを,理論的に明らかにすることができた.

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (3 results)

All 2020 Other

All Int'l Joint Research (1 results) Journal Article (2 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 2 results,  Open Access: 2 results)

  • [Int'l Joint Research] University of Miami(米国)

    • Related Report
      2020 Research-status Report
  • [Journal Article] Synchronous Boolean Finite Dynamical Systems on Directed Graphs over XOR Functions2020

    • Author(s)
      Mitsunori Ogihara, Kei Uchizawa
    • Journal Title

      Proceedings of 45th International Symposium on Mathematical Foundations of Computer Science

      Volume: 170

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Size, Depth and Energy of Threshold Circuits Computing Parity Function2020

    • Author(s)
      Kei Uchizawa
    • Journal Title

      Proceedings of 31st International Symposium on Algorithms and Computation

      Volume: 181

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi