2020 Fiscal Year Research-status Report
Development of a Massively Parallel Machine Learning Environment for GPUs using Circuit Simulation
| Project/Area Number |
20K11735
|
|---|
| Research Institution | Hiroshima University |
|---|
Principal Investigator |
伊藤 靖朗 広島大学, 先進理工系科学研究科(工), 准教授 (40397964)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中野 浩嗣 広島大学, 先進理工系科学研究科(工), 教授 (30281075)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 機械学習 / GPU / 並列計算 / 回路シミュレーション / 超並列 |
|---|
| Outline of Annual Research Achievements |
本研究では，大量の入力に対する機械学習を同時に行うGPU向けの超並列計算手法として, 畳み込みニューラルネットワークのプルーニングを行った．既存のパラメータ削減手法では, 非構造的なネットワークが生成され, 効率的な並列計算ができない場合が多い. そこで本研究では, この問題を回避するために, 畳み込みニューラルネットワークに新しい構造化されたスパースな全結合層を提案した. AlexNetやVGG-16などの一般的な畳み込みニューラルネットワークで使用されている一般的な全結合層とは異なり, 提案手法では, 畳み込み層と全結合層との間の接続に注目した. 具体的には, 全結合層の入力である畳込み層の出力の特徴マップに対して, チャネル内の接続のみ, つまり, ことなるチャネル間の接続をすべて削除したネットワーク構造とすることで, 全結合層のネットワークのパラメータを大幅に削減した. 提案するネットワークは既存手法の多くで使用されるパラメータの重要度を用いることなく, ネットワークの構造のみに注目することで, GPUによる並列計算を効率よく実行できることが特徴である. 提案手法をAlexNetとVGG-16に適用したところ, 提案手法は精度低下を1%以内のままで, パラメータ数を21分の1に削減した. この提案全結合層の計算をGPUで実装したところ, 非圧縮の全結合層と比較して, 推論計算で14.97倍, 学習計算で16.67倍の高速化を達成した．また, 提案手法の汎化性能を示すため, 別の画像分類である３種類の問題に対して畳み込みニューラルネットワークの圧縮を行ったところ, ほぼ同様の性能の精度低下とネットワークの圧縮率を達成した.
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究テーマであるGPUを用いた機械学習計算向けの超並列計算手法で対象とするネットワークの計算量削減のために, 令和２年度の結果で得られた畳み込みニューラルネットワークのプルーニング手法を適応することが可能であることを示すことができた. このプルーニング手法は, 特定の問題に特化したものではなく, 一般に用いられる畳み込みニューラルネットワークに対して
適用可能であるので, 本研究テーマの回路シミュレーションの回路サイズの削減に適用する.
|
| Strategy for Future Research Activity |
令和２年度までに得られた結果より, 次年度以降では, ネットワーク計算を並列計算化する方法を提案していく. 具体的には, ネットワークの計算を回路化し, それをビットレベルで並列化することを検討予定である.
|
| Causes of Carryover |
新型コロナウィルスの影響で参加予定であった学会がキャンセルやオンライン開催になったため, 予定していた旅費や参加費の支出がなくなった. 次年度以降は, 参加できなかった学会に参加する予定である.
|
