研究課題
基盤研究(B)
深層学習は多くの計算量を必要とするためにGPUなどの高性能プロセッサを多数必要とする。しかしその高性能を引き出すためには複雑な計算機アーキテクチャの特性を考慮する必要があり、新規学習アルゴリズムの取り入れに障害となる。本研究では高性能とソフトウェア開発コスト低減の両立を対象とした。統合成果の一つとして、多数GPUを持つスパコン上の学習を改善するためのハイブリッド並列学習フレームワークを構築した。
高性能計算ソフトウェア
LLMの隆盛に代表されるように、機械学習処理には社会を変革する力があると考えられるが、アルゴリズムの改良と大規模な計算機アーキテクチャを活用するための技術の双方が必要である。本研究では主に後者の立場から、GPUなどのプロセッサ内の処理効率化と、多数GPU搭載計算機をよどみなく活用するフレームワーク等を実現した。これら基盤技術により、LLMのさらなる改善への応用が期待される。
