A study on feature representation learning based on adaptive prior models

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K11900
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: Kobayashi Takumi 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30443188)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: ニューラルネットワーク / 深層学習 / 事前モデル / 画像認識

Outline of Final Research Achievements

In this study, we have proposed effective approaches to train neural networks in a framework of deep learning. Neural networks are composed of plenty of parameters which are directly optimized through the learning process. We introduce prior models for those parameters to construct a hierarchical representation of the parameters. Thereby, the parameters in the neural networks are derived from the prior model in a hierarchical manner, and hyper-parameters in the prior models are optimized during training. The hierarchical representation in parameters contributes to robust and adaptive learning such as by suppressing over-fitting. We proposed several prior models applicable to layer modules of neural networks, demonstrating the promising performance improvement in classification tasks.

Free Research Field

パターン認識

Academic Significance and Societal Importance of the Research Achievements

画像や音声など膨大なパターンデータが蓄積される現在、それらを有効に活用するために、AIによる自動認識技術への社会的ニーズが高まっている。本研究成果は自動認識・解析で特に効果の高いニューラルネットワークを用いた深層学習の性能改善に資するものである。ニューラルネットワークのパラメータ表現に着目することで、既存の様々なモデルへと適用できる汎用性をもちつつ、実世界の多様な訓練データセットでの学習を可能とする頑健性を与えることができるため、実用面での波及効果が期待できる。さらに、事前モデルを導入したパラメータの階層的表現は学術的意義も大きい数理的アプローチとなっている。