| Project/Area Number |
20K20624
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Pioneering)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 60:Information science, computer engineering, and related fields
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
Yokota Rio 東京工業大学, 学術国際情報センター, 教授 (20760573)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Khan Emtiyaz 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30858022)
大島 聡史 名古屋大学, 情報基盤センター, 准教授 (40570081)
伊田 明弘 国立研究開発法人海洋研究開発機構, 付加価値情報創生部門(地球情報基盤センター), 副主任研究員 (80742121)
|
|---|
| Project Period (FY) |
2020-07-30 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥25,350,000 (Direct Cost: ¥19,500,000、Indirect Cost: ¥5,850,000)
Fiscal Year 2022: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000)
Fiscal Year 2021: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Fiscal Year 2020: ¥10,660,000 (Direct Cost: ¥8,200,000、Indirect Cost: ¥2,460,000)
|
|---|
| Keywords | 階層的低ランク近似法 / 深層学習 / 行列分解 / テンソルコア / 密行列の高速解法 / 階層的低ランク近似 / H行列 / LU分解 / 2次最適化 / 継続学習 / クロネッカー因子分解 / ２次最適化 / 分散深層学習 / 線形代数ライブラリ / GPU |
|---|
| Outline of Research at the Start |
近年の深層学習は個々のタスクに特化した小規模なモデルを皆が冗長に学習するのではなく、大規模なモデルを用いて様々なタスクを一元的かつ継続的に学習する方向に向かっている。しかし、国内のAI分野の研究には、GAFAなどの 膨大なデータ、計算資源、人的資源を持つ企業と同じ土俵で競争しようとするものは少ない。本研究は、これらの企業との超高精度・超大型のDNNを学習する競争に果敢に挑み、世界最大の複数のスパコンを利用できる恵まれた計算環境と、二次最適化の分散並列実装という独自技術を用いて画像処理や自然言語処理などの幅広いタスクで国際的に優位性を示すことを目指している。
|
| Outline of Final Research Achievements |
It has been shown that using matrix factorization of the Fisher information matrix improves the performance of continual deep learning. However, it is difficult to perform matrix factorization directly on the Fisher information matrix because it is a dense matrix where the number of elements grows with the square of the number of parameters N. In this study, we use the H^2 matrix, which is a hierarchical low-rank approximation method that can reduce computational complexity to O(N). Furthermore, we proposed a method to process all diagonal blocks in parallel by performing ULV decomposition with fill-in blocks pre-computed and included in the shared basis. We also developed a method for recovering the numerical accuracy when using low-precision arithmetic units such as tensor cores, which allows us to factorize ill-conditioned matrices.
|
| Academic Significance and Societal Importance of the Research Achievements |
Fisher情報行列は継続学習やモデル・マージング、連合学習を行う際に有用であることが知られているが、その計算コストは膨大でありモデルの規模が近年急激に増大していることからも、その計算を高速化する手法が求められている。これまでKronecker因子分解による近似を行うことでO(N^1.5)の計算量にする方法が提案されているが、本研究ではこれをO(N)にまで低減できたことは意義深い。これにより、継続学習、モデル・マージング、連合学習の研究が加速すれば、一部の限られた大企業の専売特許となっている大規模な生成モデルの構築が、より多くの研究者の共同作業によって分担して構築できるようになる。
|
