Development of a Massively Parallel Machine Learning Environment for GPUs using Circuit Simulation

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K11735
• Research Institution: Hiroshima University
• Principal Investigator: 伊藤 靖朗 広島大学, 先進理工系科学研究科(工), 准教授 (40397964)
• Co-Investigator(Kenkyū-buntansha): 中野 浩嗣 広島大学, 先進理工系科学研究科(工), 教授 (30281075)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 機械学習 / GPU / 並列計算 / 回路シミュレーション / 超並列 / ネットワークプールーニング

Outline of Annual Research Achievements

本研究では、複数の入力に対する機械学習を並列に実行するGPU向けの超並列計算手法として、畳み込みニューラルネットワークのプルーニングを行った。ネットワークプルーニングは、通常、既に学習されたネットワークモデルに対して行われる。しかし、精度を維持したままネットワークから多くの重みを削除することは困難な場合が多い。これは、よく訓練されたネットワークは多くの重みパラメータで構成され、かつ、それらが互いに複雑に関連しあっている。そのため、そのようなネットワークはプルーニングが困難になると推測される。この仮説に基づき、本研究では、「学習済みモデルよりも未学習モデルから開始した方が、プルーニングの効果が高くなる」という盆栽仮説を立てた。この仮説を裏付けるために、シンプルで効率的なチャネルプルーニングアルゴリズムを提案した。CIFAR-10とCIFAR-100をターゲットとし、VGG16に対して、提案アルゴリズムを適用し、未学習モデルと学習済みモデルのプルーニングをおこなった。その結果、未学習モデルは既学習モデルよりも多くのチャネルを削減する傾向にあることがわかった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究テーマであるGPUを用いた機械学習計算向けの超並列計算手法で対象とするネットワークの計算量削減のために、
令和３年度の結果で得られた畳み込みニューラルネットワークのプルーニング手法を適応することが可能であることを示すことができた。
このプルーニング手法は、特定のネットワークの構造に特化したものではなく、 任意の構造のネットワークに対して
適用可能であるので、 本研究テーマの回路シミュレーションの回路サイズの削減をおこなうために利用している。

Strategy for Future Research Activity

本研究テーマであるGPUを用いた機械学習計算向けの超並列計算手法で対象とするネットワークの計算量削減のために、
令和３年度の結果で得られた畳み込みニューラルネットワークのプルーニング手法を適応することが可能であることを示すことができた。
このプルーニング手法は、特定のネットワークの構造に特化したものではなく、 任意の構造のネットワークに対して
適用可能であるので、 令和４年度では本研究テーマの回路シミュレーションの回路サイズの削減をおこなうために利用し、GPU向けの超並列計算手法を確立する。

Causes of Carryover

新型コロナウィルスの影響で参加予定であった学会がキャンセルやオンライン開催になったため, 予定していた旅費や参加費の支出がなくなった. また，半導体不足による，導入予定であった機器が入手困難，価格高騰になり，本年度の導入を見送った。そのため、令和４年度ではGPU搭載のワークステーションを導入し、GPU向けの超並列計算手法の実験・評価を行う予定である。