Foundation of algorithm designs for artificial neural networks

Research Project

Project/Area Number	19K11817
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 60010:Theory of informatics-related
Research Institution	Yamagata University
Principal Investigator	Uchizawa Kei 山形大学, 大学院理工学研究科, 准教授 (90510248)
Project Period (FY)	2019-04-01 – 2022-03-31
Project Status	Completed (Fiscal Year 2021)
Budget Amount *help	¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000) Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords	計算の複雑さ / ニューラルネットワーク / しきい値回路 / 計算複雑さ / アルゴリズム / 回路計算量理論
Outline of Research at the Start	本研究は，重みなどのパラメータが既に定まったニューラルネットワークを入力とする，様々な決定問題を厳密に定式化し，それらの計算容易性，および計算困難性を明らかにすることを目指すものである．現在，多くの情報処理タスクに対して，機械学習によって得られたニューラルネットワークが卓越した性能を見せている．本研究が進展することにより，こうした構築が完了したニューラルネットワークが目に見えない形で背後に構築している情報を取り出すアルゴリズム技術の基盤を構築できる可能性がある．
Outline of Final Research Achievements	We consider computational tasks of deciding if a given neural network possesses various predefined mathematical properties, and investigate how many computational resources are required to compute them. We then show that there exists a property for which it can be computationally very hard to check even if a given neural network is extremely simple (i.e., a neural network is of a single neuron). We also show that another property is computationally hard to check when a given neural network has two layers, while the property is easy to check (solvable in polynomial time) when a given neural network consists of a single neuron. Our results theoretically confirm that extracting information from multi-layer neural network can be computationally very hard.
Academic Significance and Societal Importance of the Research Achievements	本研究で得られた成果により，パラメータの定まったニューラルネットワークの性質を問う判定問題は，入力として与えられるニューラルネットワークの構造の違いや，判定問題として問う性質の違いによって，多項式時間で解ける場合から，現実的な時間では解けないと考えられるほど難しい問題となる場合まで，非常に幅広く変化することを明らかにすることができた．特に，段数の大きいニューラルネットワークが深層学習の分野で高い能力を示す一方で，段数の大きな学習済みのニューラルネットワークから情報を取り出すタスクが計算困難になりやすいことを，理論的に明らかにすることができた．