2019 Fiscal Year Annual Research Report
A Study of Matrix Multiply by Homomorphic Encryption for Utilizing in Deep Learning Frameworks
| Project/Area Number |
18K19786
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
木村 啓二 早稲田大学, 理工学術院, 教授 (50318771)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
和田 康孝 明星大学, 情報学部, 准教授 (40434310)
|
|---|
| Project Period (FY) |
2018-06-29 – 2020-03-31
|
| Keywords | 秘密計算 / 準同型暗号 / 高速化 / マルチコア / アクセラレータ / FPGA |
|---|
| Outline of Annual Research Achievements |
本研究は、安全な深層学習計算の高速化を目的として、暗号化したまま計算が可能な準同型暗号による行列計算の高速化手法を探求する。研究開始の2018年度は、公開されている準同型暗号計算ライブラリHElibの調査及び深層学習の公開モデルの調査等を行った。最終年度の2019年度では、HElibのボトルネック部分の高速化(1)、データ転送機構の開発(2)、及び行列サイズ削減と推論精度のトレードオフの調査(3)を実施した。
(1)に関しては、まずHElibによる行列計算の特に時間を要する部分として、演算中に必要となる鍵変換行列の生成部と暗号文演算部を特定した。各々に対して、演算に要するビット幅削減及びSIMD化による並列演算の導入を適用した。Intel Xeonプロセッサを搭載するサーバで提案手法を評価したところ、鍵変換行列生成部で3.4倍、暗号文演算部では加算処理で5.53倍、乗算処理で3.73倍の性能向上を得た。
(2)に関しては、疎行列計算に必要な間接参照アクセスを効率良く処理可能なデータ転送機構を開発した。提案データ転送機構とベクトルアクセラレータを持つマルチコアをFPGA上に実装し、まずは通常の疎行列・ベクトル積を用いて評価を行った。評価の結果、提案データ転送機構を使わずにCPU転送を行った場合と比較して17倍の速度向上を得ることができた。
(3)に関しては、行列サイズ削減手法として小規模なニューラルネットワークを複数並列に用いる手法を提案・検討した。提案手法は、ニューラルネットワークを分割することで、認識精度を保ちつつ個々のニューラルネットワークの規模を縮小する。提案手法をFPGAに実装し、作成したニューラルネットワーク8つを並列に用いて推論を行った結果、1つのネットワークを用いた場合と比較して、認識精度で約8ポイント、認識速度でおよそ54パーセントの向上が確認できた。
|
-
-
-
-
-
-
-
-
[Presentation] OSCARコンパイラのC++プログラム対応の検討2020
Author(s)
川角 冬馬, TilmanPriesner, 野口 真聖, 韓 吉新, 見神 広紀, 川島 慧大, 田中啓士郎, 木村 啓二, 笠原 博徳
Organizer
電子情報通信学会技術報告, CPSY2019-110,DC2019-116(2020-02) (ETNET2020)
-
[Presentation] マルチターゲット自動並列化コンパイラにおけるアクセラレータコスト推定手法の検討2020
Author(s)
山本 一貴, 藤田 一輝, 柏俣 智哉, 高橋 健, Boma A. Adhi, 北村 俊明, 川島 慧大, 納富 昭, 森 裕司, 木村 啓二, 笠原 博徳
Organizer
情報処理学会研究会, Vol.2019-ARC-240 No.25, Vol.2019-SLDM-191 No.25, Vol.2019-EMB-53 No.25 (ETNET2020)
-
-
-
-
-
-
-
-
-
-
-
