2021 Fiscal Year Research-status Report
An SRAM Computing in Memory to Exploit Energy Efficient Dimensional Separable Compact Machine Learning Model
| Project/Area Number |
21K11818
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
山内 寛行 福岡工業大学, 情報工学部, 教授 (70425239)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | Computing in Memory / 機械学習 / 次元分離 / 電源遮断 |
|---|
| Outline of Annual Research Achievements |
本研究は機械学習用のMemoryとComputingの二役をこなす Computing in Memory (CIM)において、次元分離によるスパース化を利用した電力削減を目指す。現状のCIM構造では原理的にスパース領域を「電力削減制御や、逆に精度補償用の多値量子化」に活用できるように実装することができない課題がある。本研究は、次元分離に欠かせない1x1演算対応CIMを開発し、得られたスパース領域をCIM回路上での実際の動作停止/電源遮断につなげる。一方で、省電力化に結びつかないスパース領域は多値表現に適応的に活用し2値化による精度劣化を補償する」など、単独ではなし得ない精度と電力削減のトレードオフの問題を解決することを狙っている。計画は、次元削減するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことを明らかにすることであった。それに対し当年度は、PytorchでCifar10 とCifar100ネットワークを入力する時に必要なResNet型ネットワーク層に設計し、その中のボトルネック層を構成する1×1と3×3の畳込み層をSRAM回路で実現する場合を想定し、畳込み結果を出力する階層化ビット線の設計と制御回路アーキテクチャの設計を行った。又、ResNet20, ResNet32のネットワークの各層にBNNを適用した。トレーニング後のスパース化の状態を調査し、スパース化による電源遮断可能領域と物理的な回路の電源の階層化の関係を調査した。初期データの解析の結果、ビット線や読み出し回路の階層化のパターンを何種類か用意すれば、スパース化を活かした電源遮断が可能なことが確認できた。現在の方法を継続しデータを増やしていけば当初の計画通り、次元削減することを実現するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことを明らかにすることが可能なことがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度の計画は、次元削減するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことを明らかにすることであった。その計画に対して、当該年度は、PytorchでResNetでCifar10/Cifar100を入力する時に必要なネットワーク層を設計し、その中のボトルネック層を構成する1×1と3×3の畳込み層をSRAMで実現するための畳込み結果を表現し出力する階層化ビット戦の回路アーキテクチャの設計を実施することができた。又、ResNet20, ResNet32のネットワークの各層にBNNを適用して、トレーニング後のスパース化の状態を調査した。以上のことから、スパース化による電源遮断可能領域と物理的な回路の電源の階層化の関係を調査することができた。初期データの解析の結果、ビット線や読み出し回路の階層化のパターンを何種類か用意すれば、スパース化を活かした電源遮断が可能なことを確認することができた。
|
| Strategy for Future Research Activity |
現在の方法を継続しデータを増やしていけば当初の計画通り、次元削減することを実現するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことを明らかにすることが可能なことがわかったので、今後もPytorchでResNetでCifar10/Cifar100を入力する時に必要なネットワーク層ResNet20, 34を設計し、スパース化の状況と、電源遮断が可能な連続ゼロデータの分布の関係を調査し、SRAMの具体的なアーキテクチャ設計、回路設計に入る。
|
| Causes of Carryover |
コロナによる影響で国内外の国際学会参加のための出張旅費が必要なかったり、国際学会が次年度に延期されたため。又、ワークステーションのメモリー拡張などの計画もメーカの生産計画から次年度にずれ込んだことが原因。必要な予算でありすみやかに次年度に使用する。
|
Research Products
(2 results)
