Matrix Factorization-based Efficient Learning for Neural Networks
| Project/Area Number |
18K11457
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Gunma University (2020)
The University of Tokyo (2019)
Osaka University (2018) |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高瀬 翔 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, リサーチアソシエイト (40817483)
上垣外 英剛 東京工業大学, 科学技術創成研究院, 助教 (40817649)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2020: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2019: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2018: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 行列分解 / ニューラルネットワーク / 知識グラフ / テンソル分解 / 高速フーリエ変換 |
|---|
| Outline of Final Research Achievements |
A theoretical and empirical investigation was carried out on efficient neural network computations based on matrix factorization and its generalization to multi-dimensional data, which is called tensor factorization. Especially, we developed a unitary diagonalization method to transform matrices into vectors. To show the effectiveness of the method, we conducted experiments on graph-path query answering task. In addtion, we also studied a binarization method for neural network model compression.
|
| Academic Significance and Societal Importance of the Research Achievements |
ニューラルネットワークを基礎とした表現学習や深層学習は人工知能の中核を担う技術である。その計算効率の向上は様々な人工知能アプリケーションの実用化に向けて重要な意義を持つ。ユニタリ対角化に基づく手法は行列パラメータをベクトル化する汎用的な手法であり、自然言語処理や情報検索など様々な分野におけるアプリケーションの処理効率を向上させる。また、二値化についてもシステムのメモリ消費を大幅に削減し、上記分野の様々なアプリケーションの実用化に貢献するものである。
|
Report
(4 results)
Research Products
(10 results)
