Limitation of Threshold Circuits designed for Machine Learning

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K00006
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Theory of informatics
• Research Institution: Yamagata University
• Principal Investigator: Uchizawa Kei 山形大学, 大学院理工学研究科, 准教授 (90510248)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: ニューラルネットワーク / しきい値回路 / 段数 / マージン / 機械学習

Outline of Final Research Achievements

In this research, we theoretically investigate a question why neural networks of large depth obtained by a machine learning method show significant performance for various tasks. We consider a particular type of neural networks, called threshold circuits, and then provide mathematical proofs which suggest that large depth contributes to the performance of threshold circuits that carry out (somewhat artificial) information processing. As part of the proofs, we also show detailed constructions (that is, placement of neural computational elements and their connections) of threshold circuits that are guaranteed to be achieve good performance for the information processing.

Free Research Field

計算理論

Academic Significance and Societal Importance of the Research Achievements

ニューラルネットワークによって実現できる情報処理の性質を理解することは，脳型の計算機，あるいはニューラルネットワークを用いた機械学習の基礎研究として重要である．特に本研究の結果は，ニューラルネットワークを用いて情報処理を行う場合，どのようなタスクに対してニューラルネットワークの性能が発揮されるのか，あるいは性能が発揮できる場合どのような設計が有効であるのかを明らかにすることにつながる．