Foundation of algorithm designs for artificial neural networks

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K11817
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60010:Theory of informatics-related
• Research Institution: Yamagata University
• Principal Investigator: Uchizawa Kei 山形大学, 大学院理工学研究科, 准教授 (90510248)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 計算の複雑さ / ニューラルネットワーク / しきい値回路

Outline of Final Research Achievements

We consider computational tasks of deciding if a given neural network possesses various predefined mathematical properties, and investigate how many computational resources are required to compute them. We then show that there exists a property for which it can be computationally very hard to check even if a given neural network is extremely simple (i.e., a neural network is of a single neuron). We also show that another property is computationally hard to check when a given neural network has two layers, while the property is easy to check (solvable in polynomial time) when a given neural network consists of a single neuron. Our results theoretically confirm that extracting information from multi-layer neural network can be computationally very hard.

Free Research Field

計算量理論

Academic Significance and Societal Importance of the Research Achievements

本研究で得られた成果により，パラメータの定まったニューラルネットワークの性質を問う判定問題は，入力として与えられるニューラルネットワークの構造の違いや，判定問題として問う性質の違いによって，多項式時間で解ける場合から，現実的な時間では解けないと考えられるほど難しい問題となる場合まで，非常に幅広く変化することを明らかにすることができた．特に，段数の大きいニューラルネットワークが深層学習の分野で高い能力を示す一方で，段数の大きな学習済みのニューラルネットワークから情報を取り出すタスクが計算困難になりやすいことを，理論的に明らかにすることができた．