Automatic synthesis of memory access optimization programs synergistically coordinated with deep learning and empirical methods

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K11874
• Research Institution: Toyohashi University of Technology
• Principal Investigator: 佐藤 幸紀 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (30452113)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: メモリアクセス最適化 / プログラム自動合成 / 深層学習と経験的手法 / ハード・ソフト協調設計

Outline of Annual Research Achievements

2019年度は、本研究を開始した初年度にあたるため、今後の研究において基盤となる2つ項目について重点的に取り組んだ。

1つ目の項目として、プログラム合成機構を構築する上で基盤となるPolyhedral最適化ツールチェインの拡張に向けた詳細評価を行った。Polyhedral最適化のフローにおいてコード変換の核となるISLライブラリについて、そのAPIを整理し、Polyhedral最適化を行う前後でSCoPを取得することを目標に、ベースとなるコードの解析を進めた。また、Polyhedral最適化を行う基盤となるコンパイラとして、LLVM-Pollyに加えて、PPCGを用いることも併せて検討し、双方の有用性や拡張性について考察を進めた。また、密行列の代表的なカーネルであるGEMMについて、Polyhedral最適化ツールチェインを用いてループタイリングに加えて、ベクトル化、スレッド並列化、タスク並列化を一括して行い、各種パラメータの変化に対応する性能データを取得する環境を整備した。

2つ目の項目として、DNN学習に関して、どのようなネットワークアーキテクチャが適しているかの検討と実験環境の整備を行った。SCoPは数学的にモデリングされているため、当初はすべて数値で取り扱えるとの前提で多層パーセプトロンを用いてDNN学習させていく計画であったが、近年注目を集めているグラフニューラルネットワークを適応することも検討し、PyTorchの環境を構築して初期評価を進めた。また、学習過程を円滑に行うために、Nvidia Tesla T4 GPUを含むサーバ設備を整備し、そのソフトウェアスタックも含めた実験環境の構築を行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2019年度は研究の立ち上げに相当するフェーズであるが、計画していた項目に関してはすべて着手し、一定の成果が得られている状況にある。

Strategy for Future Research Activity

今年度は、プログラム自動合成システムのプロトタイプ環境を構築すると同時に、2019年度に構築した基盤となる評価環境を用いて学習に必要なデータセットの構築を行い、プロトタイプ環境の初期評価を順次進める計画である。

Causes of Carryover

2020年3月に研究資料収集を計画していた国際学会が、コロナウイルス感染予防のために中止されたことに伴い、計上していた旅費の執行ができなかったため。2020年度においても、コロナウイルスの状況が不透明で大学外での研究資料収集が当面の間に渡り困難であることが予想されるため、本研究を一層推進させるための研究補助の人件費の一部として使用する計画である。