2018 Fiscal Year Research-status Report
深層学習フレームワークでの利用を目指した完全準同型暗号による行列計算に関する研究
| Project/Area Number |
18K19786
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
木村 啓二 早稲田大学, 理工学術院, 教授 (50318771)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
和田 康孝 明星大学, 情報学部, 准教授 (40434310)
|
|---|
| Project Period (FY) |
2018-06-29 – 2020-03-31
|
| Keywords | 秘密計算 / 高速化 / マルチコア / アクセラレータ |
|---|
| Outline of Annual Research Achievements |
現在、クラウド上に世界中のあらゆるデータが集約され情報処理が行われている。これらの情報は深層学習(ディープラーニング)によって学習され環境認識や将来状況推論などに用いられる。集約されるデータに個人の医療情報や社会保障情報などの秘密情報が含まれる場合、これら秘密情報の漏洩が大きな社会的損失を引き起こす。 このような問題に対して、情報を暗号化したまま演算処理を可能とする準同型暗号あるいは完全準同型暗号の研究が活発に進められている。本技術をクラウド環境で動作する深層学習処理に適用することで、情報漏洩の危険を回避可能である。しかしながら完全準同型暗号による演算処理は極めて大きな時間がかかることが知られている。これを高速化する手段を探索することが本研究の目的である。
本研究では、まず深層学習処理を高速化するに当たり最も重要な処理である行列積に着目する。その上で、目的である完全準同型暗号による行列積高速化を、アプリケーションからハードウェアまで含めたシステム全体と捉えたときに、いかにして処理を最適化できるか、という観点から高速化手法を探索する。
以上を平成30年度からの2年計画で、木村(早稲田・代表)、和田(明星・分担)、El-Mahdy(E-JUST・協力)により国際共同研究として実施する。
平成30年度では、当初計画にて予定していた(1)対象となる行列積の浮動小数点演算による処理の検討、及び(2)整数演算を行う場合の必要精度の検討、に加え、(3)深層学習フレームワークCaffe用公開モデル集の調査、(4)基盤となる暗号計算ライブラリHElibの調査、(5)高速化をハードウェアアクセラレータで実現する際に必要となるデータ転送機構の検討、を実施した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1)対象となる行列積の浮動小数点演算に関しては、現在の準同型暗号計算が整数演算を対象としており、実用的な浮動小数点演算処理を実装するのは研究期間内では困難と判断し、本研究では整数演算で処理することとした。
(2)整数演算を行う場合の必要精度の検討に関しては、まず深層学習における演算ビット数削減手法について調査を行った。これらの先行研究として、ニューラルネットワークの重みを二値化するBNNやeBNN、及び畳み込み演算まで二値化するXNOR-Netがあり、これら先行研究における知見は本研究においても有用である。さらに、研究協力者であるエジプト日本科学技術大学（E-JUST）のEl-Mahdy教授と深層学習におけるパラメータの精度による演算量変化が実行性能にもたらす影響に関する議論と評価を進めた。
(3)深層学習フレームワークCaffe用公開モデル集の調査では、本研究で評価を行う行列サイズを検討するため、広く公開されている深層学習モデル集であるCaffe Model Zooに収録されている52のモデルに対して、それらで使用されている層の数や行列積のサイズを調査した。
(4)基盤となる暗号計算ライブラリHElibの調査に関しては、HElibを用いて行列積を評価し実行プロファイルを計測した。評価の結果、HElibそのものではなく、HElibが依存するライブラリ，特に準同型暗号計算が依拠している数論のライブラリであるNTL内のフーリエ変換・逆フーリエ変換を伴う処理に比較的大きな時間を要しているものと考えられる。
(5)高速化をハードウェアアクセラレータで実現する際に必要となるデータ転送機構の検討に関しては、ホストとアクセラレータ間のデータ転送を効率よく行う装置のプロトタイプ版の開発・評価を行った。本項目に関しては情報処理学会研究会にて発表を行った。
|
| Strategy for Future Research Activity |
2019年度は、上記2018年度進捗で得られた知見に基づき、当初計画通り演算加速機構の検討と予備評価を実施する。評価に用いる機材としては、マルチコアサーバ、GPU、FPGA評価ボードを予定している。
上記機材で予備評価を行うにあたり、準同型暗号による行列積を行うプログラムのリファレンスとなる実装も用意する。より具体的には、平文の段階でビット幅を制限した整数値の要素を持つ行列を準同型暗号化して積をとるプログラムを、HElibを用いて実装する。このとき、ビット幅は一定の範囲で変化して評価できるようにする。また、行列サイズはCaffe Model Zoo収録モデルの調査結果に基づき設定可能なようにする。さらに、このリファレンス実装をもとにして、各プラットホーム用の最適化版を作成し評価を行う。
上記リファレンス実装を用意するにあたり、明確化しなければならない問題がある。2018年度の研究より、準同型暗号そのものに関わる各種パラメータは相互に複雑に関わり合っていることを確認している。これらのパラメータが全体の演算量に与える影響について、さらなる調査および評価を要する。準同型暗号によって取り扱うデータのサイズは長大なものとなるため、定性的にはメモリおよびキャッシュのアクセス最適化が有効と考えられる。実アプリケーションを想定したニューラルネットワークのサイズおよび暗号強度に基づき、特に推論処理に着目して各種パラメータの影響に関する調査を進める。
上記の実装および評価を、E-JUSTも含めたミーティングを定期的に実施しつつ遂行する。また協力者であるE-JUSTのEl-Mahdy教授との連携を強化するため、2019年度は日本招聘も予定する。
これら実験により得られた知見は国内外の会議で積極的に発表する。
|
| Causes of Carryover |
2018年度は出張旅費と人件費でそれぞれ1,900,000円、1,800,000円の予算を計上していた。しかしながら、出張旅費に関してはE-JUSTのEl-Mahdy教授との打ち合わせのための出張を予定通り実施した他は、当初の出張計画を見直す必要があり、結果として2018年度の一部を次年度使用することとなった。また、人件費に関しては、研究項目の一部に関する実験やデータ整理を担当した大学院生に支出したが、当初予算分を執行するには至らなかった。上記を主な理由として次年度使用額が1,359,064円となった。
本年度は、出張旅費に関しては前述の通り2018年度計画を見直した上で2019年度の出張を実施する他、E-JUST El-Mahdy教授の日本招聘を計画する。また、人件費に関してもより多くの実験やデータ整理を大学院生に担当するよう計画し、これに充当する予定である。
|
Research Products
(2 results)
