| 研究課題/領域番号 |
20K20624
|
|---|
| 研究種目 |
挑戦的研究(開拓)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分60:情報科学、情報工学およびその関連分野
|
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
横田 理央 東京工業大学, 学術国際情報センター, 教授 (20760573)
|
|---|
| 研究分担者 |
Khan Emtiyaz 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30858022)
大島 聡史 名古屋大学, 情報基盤センター, 准教授 (40570081)
伊田 明弘 国立研究開発法人海洋研究開発機構, 付加価値情報創生部門(地球情報基盤センター), 副主任研究員 (80742121)
|
|---|
| 研究期間 (年度) |
2020-07-30 – 2024-03-31
|
| キーワード | 階層的低ランク近似法 / 深層学習 / 行列分解 / テンソルコア |
|---|
| 研究成果の概要 |
深層継続学習ではFisher情報行列の行列分解を用いることで性能が向上することが示されている。しかし、Fisher情報行列はパラメータ数Nの2乗の要素数を持つ密行列であるため、そのまま行列分解を直接行うことが困難である。本研究では階層的低ランク近似法であるH^2行列を用いることで、この計算量をO(N)に低減した。さらに、fill-inブロックを予め計算し共有基底に含めてULV分解を行うことでに全ての対角ブロックを並列に処理する手法を提案した。また、テンソルコアのような低精度演算器でも悪条件の行列の分解ができるよう、精度を補正する手法を開発した。
|
| 自由記述の分野 |
高性能計算
|
| 研究成果の学術的意義や社会的意義 |
Fisher情報行列は継続学習やモデル・マージング、連合学習を行う際に有用であることが知られているが、その計算コストは膨大でありモデルの規模が近年急激に増大していることからも、その計算を高速化する手法が求められている。これまでKronecker因子分解による近似を行うことでO(N^1.5)の計算量にする方法が提案されているが、本研究ではこれをO(N)にまで低減できたことは意義深い。これにより、継続学習、モデル・マージング、連合学習の研究が加速すれば、一部の限られた大企業の専売特許となっている大規模な生成モデルの構築が、より多くの研究者の共同作業によって分担して構築できるようになる。
|
