2019 Fiscal Year Annual Research Report
Linear Solvers for Machine Learning Hardware
| Project/Area Number |
18H03248
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
横田 理央 東京工業大学, 学術国際情報センター, 准教授 (20760573)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大島 聡史 九州大学, 情報基盤研究開発センター, 助教 (40570081)
伊田 明弘 東京大学, 情報基盤センター, 特任准教授 (80742121)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | H行列 / 階層的低ランク近似法 / Tensor Core / 機械学習向けハードウェア |
|---|
| Outline of Annual Research Achievements |
今年度の目標は低精度演算の有効活用であったが，これは概ね達成できたといえる．Tensor Coreを用いたQR分解の実装において16bitに起因する精度の低下を補正する手法を考案した．これは16bitの変数を２つ用いて仮数部を２倍に拡張することで情報落ちや丸め誤差を抑制するKahanの加算法に類似した手法である．ただし，Kahanの加算法がスカラーに対する手法なのに対して，本手法はそれを行列に拡張した手法となっている．この精度補正によりTensorCoreを用いたQR分解において単精度と同等の相対残差と直交性を実現することができた．また，このときの演算速度はTensorCoreの性能を最大限に引き出すことができていることを確認した．この成果は高性能計算分野のトップカンファレンスであるSC19のベストポスターの候補に選ばれた．
このような低精度のQR分解を最大限に活用できる手法として階層的低ランク近似法が挙げられる．行列が低精度の浮動小数点で表される場合，それを低ランク近似することで精度をそれ以上劣化させることなく，演算量を大幅に低減できる．今年度は，階層的低ランク近似法として提案されているBLR,HODLR, HSS, H-matrix, H2-matrixの全ての手法を一般化した手法を提案し，C++の機能を最大限に活用することで簡素な実装を行うことができた．このフレームワークを用いて，これら5つの形式に対して行列の加算，行列ー行列積，LU分解，QR分解を容易に実装することができた．この成果は国内外の学会に採択され，現在ジャーナル論文も投稿中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
２０１９年度の目標を達成しただけでなく，階層的低ランク近似法の全てのアルゴリズムに変幻自在に対応できるフレームワークをさらにGPU，MPIへの拡張し，その応用先としても２０１８年度のLU分解からさらに QR分解にも発展させることができた．
２０１８年のTensor CoreのQR分解では単に10TFlopsという演算性能のみが得られていたが，２０１９年度にKahanの加算法を行列に拡張した手法を考案することにより，Tensor Coreの弱点ともいえる精度の面での大幅な改善を行うことに成功した．
|
| Strategy for Future Research Activity |
今年度はPEZY SC2での性能評価までは手が回らなかったが，２０２０年度の目標は「省電力・耐故障性、ハードウェア間の比較」であるため，このような電力性能をウリにしている異種アーキテクチャ上で実験することを目指す．また，階層的低ランク近似法のQR分解ではまだBLRでしか実験ができていないが，２０２０年度はHODLR, HSS, H-matrix, H2-matrix全てで実験ができるようにフレームワークを整備する．２０１９年度後半からテネシー大学のJack Dongarraのグループと共同研究を始めており，ParSECやStarPUを用いた非同期実行によるLU分解，QR分解の分散並列実装を進める予定である．
|
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] TSQR on TensorCores2019
Author(s)
Hiroyuki Ootomo, Rio Yokota
Organizer
The International Conference for High Performance Computing, Networking, Storage, and Analysis (best poster candidate)
Int'l Joint Research
-
-
-
