Matrix Factorization-based Efficient Learning for Neural Networks

2020 Fiscal Year Final Research Report

• Project/Area Number: 18K11457
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Gunma University (2020); The University of Tokyo (2019); Osaka University (2018)
• Principal Investigator: Hayashi Katsuhiko 群馬大学, 社会情報学部, 准教授 (50725794)
• Co-Investigator(Kenkyū-buntansha): 高瀬 翔 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, リサーチアソシエイト (40817483) ; 上垣外 英剛 東京工業大学, 科学技術創成研究院, 助教 (40817649)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 行列分解 / ニューラルネットワーク / 知識グラフ

Outline of Final Research Achievements

A theoretical and empirical investigation was carried out on efficient neural network computations based on matrix factorization and its generalization to multi-dimensional data, which is called tensor factorization. Especially, we developed a unitary diagonalization method to transform matrices into vectors. To show the effectiveness of the method, we conducted experiments on graph-path query answering task. In addtion, we also studied a binarization method for neural network model compression.

Free Research Field

知能情報学

Academic Significance and Societal Importance of the Research Achievements

ニューラルネットワークを基礎とした表現学習や深層学習は人工知能の中核を担う技術である。その計算効率の向上は様々な人工知能アプリケーションの実用化に向けて重要な意義を持つ。ユニタリ対角化に基づく手法は行列パラメータをベクトル化する汎用的な手法であり、自然言語処理や情報検索など様々な分野におけるアプリケーションの処理効率を向上させる。また、二値化についてもシステムのメモリ消費を大幅に削減し、上記分野の様々なアプリケーションの実用化に貢献するものである。