Software optimization by synergy of machine learning and high performance computing

2018 Fiscal Year Annual Research Report

• Project/Area Number: 18F18786
• Research Institution: The University of Tokyo
• Principal Investigator: 須田 礼仁 東京大学, 大学院情報理工学系研究科, 教授 (40251392)
• Co-Investigator(Kenkyū-buntansha): VATAI EMIL 東京大学, 情報理工学(系)研究科, 外国人特別研究員
• Project Period (FY): 2018-11-09 – 2021-03-31
• Keywords: 深層学習 / Dense layer / Pruning / データ圧縮

Outline of Annual Research Achievements

深層学習では極めて多数のパラメタを最適化することになる。この大量のパラメタは計算負荷にもメモリ使用量にも直接影響を及ぼし、複雑なモデルの学習において高性能な計算機を用いなければならないひとつの要因となっている。
我々は、dense layer の重みデータを行ごとにソートしてみると、極めて多くの事例において、どの行もほぼ同一の曲線に載ることを経験的に見出した。特に、行の重みの二乗和を１に正規化すると、行の間での類似性が非常に高いことがわかった。Convolutional layer においても似たような傾向が見いだされた。我々の知る範囲では、これを明確に指摘した論文はこれまでにない。理論的背景もわかっていない。
上記の観測から、各行を１つの曲線（参照曲線ということにする）の順序を置換したものとして近似することを試みた。参照曲線には、ソート後の各列の平均値を用いた。各行は重みデータの代わりに、各列が参照曲線のどこに対応するかの添え字を保存するようにした。すなわち、各行は実数（浮動小数点数）の配列ではなく、整数の配列を持つことになる。本来の実数のサイズが大きい場合には、これだけで使用メモリ量を圧縮することができた。
さらに、参照曲線の中央部のかなりの範囲は 0 に近い値を持つことから、一定の閾値よりも0に近い値を0に丸めるpruningを適用した。これにより、添え字の範囲を狭めることができ、さらに使用メモリ量を圧縮することができた。
このようにして圧縮したパラメタをもとのニューラルネットワークに戻し、学習性能について評価を行ったところ、dense layer の圧縮では、スコアがわずかながら上昇する例が多くみられた。これは予想外の結果であり、原因をこれから調査したいと考えている。しかし convolutional layer も含めて圧縮すると、スコアが大幅に劣化することが多かった。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究は、高性能計算と人工知能の相互連関による高度化を目指している。最初の半年である2018年度には、人工知能の計算における高性能計算の活用の可能性について検討してきた。その結果、「研究実績の概要」に示すような特異な性質を経験的に発見し、データの圧縮に利用することができることを示した。予想をしていなかった性質を発見したことはよいスタートを切ることができたと考えている。
ただ、どのような背景からこのような結果になっているのかわかっていないので、どれだけ汎用性があるのかわかっていない。また、発見した性質をメモリの圧縮には使うことができたが、高性能化つまり時間の短縮には活用できていない。PC やワークステーション、スパコンなどのメモリは非常に大きくなっているので、メモリフットプリントを圧縮しただけで速くなることは期待しにくいが、GPU のメモリに乗りきらないような大規模ネットワークを圧縮して GPU で実行できるようになることによる高速化は可能性がある。モバイルデバイスや IoT デバイスにも深層学習を実装することが増えているので、使用できるメモリは常にふんだんにある環境ばかりではなく、本手法および関連手法が有効な場面もあるであろう。
他の研究と比較して大きく異なるのは、データを圧縮した結果、スコアがわずかながらも向上することが複数回観測されたことである。ニューラルネットワークのデータ圧縮に関する他の研究では、我々の知る限り、常に精度の劣化とメモリ量の節約のトレードオフになっている。スコアの改善の原因はまだ分析できていないので、さらに研究を進める必要がある。
本成果を論文として発表することを試みたが、採択に至らなかった。これが区分を「やや遅れている」とした理由である。上述のように、様々な課題が残っている状況であるためと考えており、早急に知見を整理して論文として出したいと考えている。

Strategy for Future Research Activity

2019年度の研究は2つの方向に進める予定である。第1に、「研究実績の概要」で述べた知見についてさらに分析を深め、（現在までのところメモリ容量の節約にとどまっているが）性能向上に寄与する成果を挙げ、論文として発表することが挙げられる。これは喫緊のテーマであり、可能な限り早く進めたいと考えている。また、経験的に得られた性質について、そのような性質が発現するメカニズムについて理論的に考察をしたいと考えている。研究分担者はもともと数学を専門としているため、このような研究に比較的向いているところである。やはり実験的な結果であるが、「研究実績の概要」で述べた「参照曲線」は、正規分布の累積密度関数と極めて近いことがわかっている。情報量などの観点から、この性質が適切であることが説明できる可能性があるのではないかと思っている。
第2に、人工知能の知見を高性能計算に適用する研究である。現在、組込み系の実装で用いられているトリッキーな最適化についてデータを収集し、機械学習の手法を用いて、既存のコードに適用できそうか、また効果がありそうかを推定することを考えている。データの収集を始めており、今後具体的な研究に進める予定でいる。