研究課題/領域番号 |
20K20624
|
研究種目 |
挑戦的研究(開拓)
|
配分区分 | 基金 |
審査区分 |
中区分60:情報科学、情報工学およびその関連分野
|
研究機関 | 東京工業大学 |
研究代表者 |
横田 理央 東京工業大学, 学術国際情報センター, 教授 (20760573)
|
研究分担者 |
Khan Emtiyaz 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30858022)
大島 聡史 名古屋大学, 情報基盤センター, 准教授 (40570081)
伊田 明弘 国立研究開発法人海洋研究開発機構, 付加価値情報創生部門(地球情報基盤センター), 副主任研究員 (80742121)
|
研究期間 (年度) |
2020-07-30 – 2024-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
25,350千円 (直接経費: 19,500千円、間接経費: 5,850千円)
2022年度: 7,280千円 (直接経費: 5,600千円、間接経費: 1,680千円)
2021年度: 7,410千円 (直接経費: 5,700千円、間接経費: 1,710千円)
2020年度: 10,660千円 (直接経費: 8,200千円、間接経費: 2,460千円)
|
キーワード | 密行列の高速解法 / 階層的低ランク近似 / H行列 / LU分解 / 深層学習 / 2次最適化 / 継続学習 / クロネッカー因子分解 / 2次最適化 / 分散深層学習 / 線形代数ライブラリ / GPU |
研究開始時の研究の概要 |
近年の深層学習は個々のタスクに特化した小規模なモデルを皆が冗長に学習するのではなく、大規模なモデルを用いて様々なタスクを一元的かつ継続的に学習する方向に向かっている。しかし、国内のAI分野の研究には、GAFAなどの 膨大なデータ、計算資源、人的資源を持つ企業と同じ土俵で競争しようとするものは少ない。本研究は、これらの企業との超高精度・超大型のDNNを学習する競争に果敢に挑み、世界最大の複数のスパコンを利用できる恵まれた計算環境と、二次最適化の分散並列実装という独自技術を用いて画像処理や自然言語処理などの幅広いタスクで国際的に優位性を示すことを目指している。
|
研究実績の概要 |
深層学習へ2次最適化を適用する際に課題となる大規模な密行列の分解を高速かつ並列に行うための新たな手法を複数開発した。大きさがNxNの密行列のLU分解はO(N^3)の計算量を要するが、HSS行列やH行列などの階層的低ランク近似法を用いることでその計算量をO(NlogN)もしくはO(N)に低減できる。しかし、HSS行列では弱許容条件を用いるため高次元の問題では非対角ブロックのランクがNとともに増大しO(N)の手法ではなくなるものおn、ULV分解の原理を応用することでブロック同士の依存性をなくし超並列で計算できる。また、H行列は強許容条件を用いるためランクの増大はないものの、非対角の密ブロックから生じるfill inによりULV分解の原理を用いたとしても超並列な行列分解ができない。本研究ではHSS-ULV分解の並列度とH行列のO(N)の計算量の両方を併せ持つH^2-ULV分解開発した。H^2行列はHSS行列と同様、行や列ブロックの基底を共有する。ただし、基底を共有しただけでは密ブロックから生じるfill inを防げないため、超並列なLU分解はそのままではできない。そこで、予めfill inを計算しておき、それらを行や列ブロックの基底に含めることで、ULV分解の際に生じるfill inを共有基底を更新することなく再圧縮でき、強許容条件を有しながらも超並列なLU分解を世界で初めて実現した。この成果は高性能計算分野のトップカンファレンスであるSC22に採択された。さらに、この研究から派生した研究として超並列性を利用したGPU実装への拡張(IJHPCAに投稿中)、テネシー大学のDongarra研究室との共同研究でPaRSECランタイムを用いた階層間の依存性の緩和(ICPPに投稿中)やLDL分解への拡張による電子状態計算における固有値解法への応用(ICPPに投稿中)などが挙げられる。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
博士課程の学生4名が共同で一つのライブラリを開発するという画期的な体制で研究を遂行することができたため、多くの研究成果が得られた。CPUやGPU上での内部カーネルのチューニング、PaRSECなどのランタイムレベルでのタスク並列化、H^2-ULVなどのアルゴリズムレベルでの超並列化、LDL分解への拡張による電子状態計算への応用など、低レイヤーからアプリケーションまでソフトウェアスタックの各レイヤーでの開発を垂直統合型で行うことができたのは、優秀な博士学生4名による共同開発の賜物であるといえる。現在、高性能計算分野のトップジャーナル(IJHPCA, ACM TOMS)に2本、トップカンファレンス(ICPP, EuroPar, Cluster)に5本の論文を投稿中であり、2022年度の研究成果は多くの論文に繋がったといえる。
|
今後の研究の推進方策 |
本研究に従事している博士学生4名のうち3名は2023年9月に学位を取得する見込みであり、分担機関による分担金の繰越しはあったものの、当初計画では2022年度までの研究期間であったため、2022年度をもって本研究は一区切りついたことになる。ただし、博士学生は修了直前に最も研究のアウトプットは大きくなるため、2023年度はPaRSECなどのランタイムレベルでのタスク並列化、H^2-ULVなどのアルゴリズムレベルでの超並列化、LDL分解への拡張による電子状態計算への応用のテーマがさらに発展することが期待される。
|