2022 Fiscal Year Research-status Report
An SRAM Computing in Memory to Exploit Energy Efficient Dimensional Separable Compact Machine Learning Model
| Project/Area Number |
21K11818
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
山内 寛行 福岡工業大学, 情報工学部, 教授 (70425239)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | Computing in Memory / 機械学習 / 次元分離 / 電源遮断 |
|---|
| Outline of Annual Research Achievements |
本研究は機械学習用のComputing in Memory (CIM)の構造と省電力化を狙った先端の機械学習モデルとの整合を狙う。1x1ビット演算対応CIMを開発しスパース領域を「動作停止/電源遮断につなげる」。又、残ったスパース領域は「多値表現に適応的に活用し2値化による精度劣化を補償する」等、精度と電力削減のトレードオフの問題を解決することを狙う。当年度は先端のモデルトレンドであるアテンション機構への適用を狙い、1年目に基礎検討しResNet型ネットワーク層実装用の階層化ビット線の設計と制御回路アーキテクチャのアテンション機構への有効性を検証した。表現力とパラメータ数の削減に効果的なチャネルと空間方向のアテンションブロックの検証に集中した。ResNet18ネットワークに加えてチャネルアテンションブロックを追加したSE-ResNET18ネットワークをCifar10のデータセットで学習した場合のスパースア化の状態をSEブロック無しの場合と比較した。アテンション値をバイナリー化した場合の精度への影響を調査した。その結果、アテンション値が0になる特徴マップのチャネルと空間はスパース化してもインファレンスの精度への影響は小さく、1年目に検討した結果よりもさらにスパース化できる領域は広がる可能性が明らかになった。そのため、スパース化による電源遮断可能領域と物理的な回路の電源の階層化の関係は、アテンションモデルを適用した場合でも問題なく、むしろ改善する方向であることが確認できた。その結果を基に、1年目に基礎検討したビット線や読み出し回路の階層化のパターンを何種類か用意すれば、スパース化を活かした電源遮断が可能なことが確認できた。現在の方法を継続しデータを増やしていけば当初の計画通り、次元削減することを実現するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度の計画は、次元削減するために必要な1x1畳込みを階層化で実現するCIM設計が、表現力を高めて省電力を実現するうえで重要で主流なモデル要素になったアテンションモデルにも
適用可能なことを明らかにすることであった。その計画に対して、当該年度は、PytorchでSE-ResNetでCifar10データセットを学習する時に必要なネットワーク層を設計し、
その中の特徴マップを表現し出力する階層化ビット戦の回路アーキテクチャの設計を実施することができた。又、SE-ResNET18のネットワークの各層にBNNを適用して、トレーニング後のスパース化の状態を調査した。
以上のことから、スパース化による電源遮断可能領域と物理的な回路の電源の階層化の関係を調査することができた。
初期データの解析の結果、ビット線や読み出し回路の階層化のパターンを何種類か用意すれば、スパース化を活かした電源遮断が可能なことを確認することができた。
|
| Strategy for Future Research Activity |
当初は計画していなかったが近年急に主流になりつつあるアテンション機構のモデルも検討対象に加えた。現在の方法を継続しデータを増やしていけば当初の計画通り、
次元削減することを実現するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことを明らかにすることが可能なことがわかったので、今後もPytorchでResNetでCifar10を入力する時に必要なネットワーク層ResNet18を設計し、アテンション機構とスパース化の変化と、電源遮断が可能な連続ゼロデータの分布の関係を調査し、SRAMの具体的なアーキテクチャ設計、回路設計に入る。
|
Research Products
(5 results)
