An SRAM Computing in Memory to Exploit Energy Efficient Dimensional Separable Compact Machine Learning Model
| Project/Area Number |
21K11818
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60040:Computer system-related
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
山内 寛行 福岡工業大学, 情報工学部, 教授 (70425239)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | アテンション / チャネルアテンション / 空間アテンション / Computing in Memory / 機械学習 / 次元分離 / 電源遮断 / コンピューティング イン メモリ / ポイントワイズ / スパース化 / 電力削減 |
|---|
| Outline of Research at the Start |
本研究は、電力削減を目的に機械学習用のMemoryとComputingの二役をこなす Computing in Memory (CIM)の回路研究に関するもので、モデルアーキテクチャの観点から次元分離によるスパース化の提案を原理的に実装可能なCIM構造を提案するものである。
アーキテクチャによる次元分離に欠かせない1x1演算対応CIMを初めて開発し、「①得られたスパース領域をCIM回路上での実際の動作停止/電源遮断につなげる。一方で、②省電力化に結びつかないスパース領域は多値表現に適応的に活用し2値化による精度劣化を補償する」など、単独ではなし得ない精度と電力削減のトレードオフの問題を解決する。
|
| Outline of Annual Research Achievements |
本研究の目的はモデルアーキテクチャの観点から無駄な計算を削減しハードウエア的に実装しやすい手法を探ることである。コンボリューショナルニューラルネットワークにおいてチャネル方向の次元に冗長性が大きく、この方向の次元削減が、１）精度を落とさずパラメータを削減できる最も効率の良い手段である、２）ハードウエア実装の点でも貢献度が少ないチャナネルを刈り取ることは比較的容易であるとの検討結果を得た。本研究ではアテンション手法に注力し、１）チャネルアテンション、２）空間アテンションによる効果の確認を実施した。実験においては、パラメータ数を削減するのに欠かせない1ビットへの量子化を前提に実施した。1ビットの量子化により学習曲線が不安定になり誤差が減少するエポック数が大きくなる課題があるので、本研究では、アテンション機構を改良し学習曲線を高速化することも実現した。実際にはSE-ResNet Attention アルゴリズムを用いて実験した。実験結果の考察からAttentionすべき特徴マップの決定プロセスにバイナリー法を用いることで、Attentionすべきベクトルの決定が速くなり学習曲線を高速化することにつながることを明らかにした。ResNetの構成を独自にコンパクトにしたResNet14構成の3ブロックで平均チャネル削減割合が約50％になり、パラメータの削減可能なことを明確にした。SVHNやCiFAR10のデータセットにおいても同様の結果が得られた。さらに、説明可能な効果を明らかにするために Eigen CAMを用いて本研究手法が空間的にも適切なAttentionを獲得していることを確認した。この結果は2本の国際学会発表と2本のジャーナル発表につながった。
|
Report
(3 results)
Research Products
(10 results)
