| 研究課題/領域番号 |
20K11735
|
|---|
| 研究機関 | 広島大学 |
|---|
研究代表者 |
伊藤 靖朗 広島大学, 先進理工系科学研究科(工), 准教授 (40397964)
|
|---|
| 研究分担者 |
中野 浩嗣 広島大学, 先進理工系科学研究科(工), 教授 (30281075)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 機械学習 / GPU / 並列計算 / 回路シミュレーション / 超並列 / ネットワークプールーニング |
|---|
| 研究実績の概要 |
本研究では、複数の入力に対する機械学習を並列に実行するGPU向けの超並列計算手法として、畳み込みニューラルネットワークのプルーニングを行った。ネットワークプルーニングは、通常、既に学習されたネットワークモデルに対して行われる。しかし、精度を維持したままネットワークから多くの重みを削除することは困難な場合が多い。これは、よく訓練されたネットワークは多くの重みパラメータで構成され、かつ、それらが互いに複雑に関連しあっている。そのため、そのようなネットワークはプルーニングが困難になると推測される。この仮説に基づき、本研究では、「学習済みモデルよりも未学習モデルから開始した方が、プルーニングの効果が高くなる」という盆栽仮説を立てた。この仮説を裏付けるために、シンプルで効率的なチャネルプルーニングアルゴリズムを提案した。CIFAR-10とCIFAR-100をターゲットとし、VGG16に対して、提案アルゴリズムを適用し、未学習モデルと学習済みモデルのプルーニングをおこなった。その結果、未学習モデルは既学習モデルよりも多くのチャネルを削減する傾向にあることがわかった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究テーマであるGPUを用いた機械学習計算向けの超並列計算手法で対象とするネットワークの計算量削減のために、
令和３年度の結果で得られた畳み込みニューラルネットワークのプルーニング手法を適応することが可能であることを示すことができた。
このプルーニング手法は、特定のネットワークの構造に特化したものではなく、 任意の構造のネットワークに対して
適用可能であるので、 本研究テーマの回路シミュレーションの回路サイズの削減をおこなうために利用している。
|
| 今後の研究の推進方策 |
本研究テーマであるGPUを用いた機械学習計算向けの超並列計算手法で対象とするネットワークの計算量削減のために、
令和３年度の結果で得られた畳み込みニューラルネットワークのプルーニング手法を適応することが可能であることを示すことができた。
このプルーニング手法は、特定のネットワークの構造に特化したものではなく、 任意の構造のネットワークに対して
適用可能であるので、 令和４年度では本研究テーマの回路シミュレーションの回路サイズの削減をおこなうために利用し、GPU向けの超並列計算手法を確立する。
|
| 次年度使用額が生じた理由 |
新型コロナウィルスの影響で参加予定であった学会がキャンセルやオンライン開催になったため, 予定していた旅費や参加費の支出がなくなった. また，半導体不足による，導入予定であった機器が入手困難，価格高騰になり，本年度の導入を見送った。そのため、令和４年度ではGPU搭載のワークステーションを導入し、GPU向けの超並列計算手法の実験・評価を行う予定である。
|
