| 研究課題/領域番号 |
21K11818
|
|---|
| 研究機関 | 福岡工業大学 |
|---|
研究代表者 |
山内 寛行 福岡工業大学, 情報工学部, 教授 (70425239)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | Computing in Memory / 機械学習 / 次元分離 / 電源遮断 |
|---|
| 研究実績の概要 |
本研究は機械学習用のMemoryとComputingの二役をこなす Computing in Memory (CIM)において、次元分離によるスパース化を利用した電力削減を目指す。現状のCIM構造では原理的にスパース領域を「電力削減制御や、逆に精度補償用の多値量子化」に活用できるように実装することができない課題がある。本研究は、次元分離に欠かせない1x1演算対応CIMを開発し、得られたスパース領域をCIM回路上での実際の動作停止/電源遮断につなげる。一方で、省電力化に結びつかないスパース領域は多値表現に適応的に活用し2値化による精度劣化を補償する」など、単独ではなし得ない精度と電力削減のトレードオフの問題を解決することを狙っている。計画は、次元削減するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことを明らかにすることであった。それに対し当年度は、PytorchでCifar10 とCifar100ネットワークを入力する時に必要なResNet型ネットワーク層に設計し、その中のボトルネック層を構成する1×1と3×3の畳込み層をSRAM回路で実現する場合を想定し、畳込み結果を出力する階層化ビット線の設計と制御回路アーキテクチャの設計を行った。又、ResNet20, ResNet32のネットワークの各層にBNNを適用した。トレーニング後のスパース化の状態を調査し、スパース化による電源遮断可能領域と物理的な回路の電源の階層化の関係を調査した。初期データの解析の結果、ビット線や読み出し回路の階層化のパターンを何種類か用意すれば、スパース化を活かした電源遮断が可能なことが確認できた。現在の方法を継続しデータを増やしていけば当初の計画通り、次元削減することを実現するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことを明らかにすることが可能なことがわかった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当該年度の計画は、次元削減するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことを明らかにすることであった。その計画に対して、当該年度は、PytorchでResNetでCifar10/Cifar100を入力する時に必要なネットワーク層を設計し、その中のボトルネック層を構成する1×1と3×3の畳込み層をSRAMで実現するための畳込み結果を表現し出力する階層化ビット戦の回路アーキテクチャの設計を実施することができた。又、ResNet20, ResNet32のネットワークの各層にBNNを適用して、トレーニング後のスパース化の状態を調査した。以上のことから、スパース化による電源遮断可能領域と物理的な回路の電源の階層化の関係を調査することができた。初期データの解析の結果、ビット線や読み出し回路の階層化のパターンを何種類か用意すれば、スパース化を活かした電源遮断が可能なことを確認することができた。
|
| 今後の研究の推進方策 |
現在の方法を継続しデータを増やしていけば当初の計画通り、次元削減することを実現するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことを明らかにすることが可能なことがわかったので、今後もPytorchでResNetでCifar10/Cifar100を入力する時に必要なネットワーク層ResNet20, 34を設計し、スパース化の状況と、電源遮断が可能な連続ゼロデータの分布の関係を調査し、SRAMの具体的なアーキテクチャ設計、回路設計に入る。
|
| 次年度使用額が生じた理由 |
コロナによる影響で国内外の国際学会参加のための出張旅費が必要なかったり、国際学会が次年度に延期されたため。又、ワークステーションのメモリー拡張などの計画もメーカの生産計画から次年度にずれ込んだことが原因。必要な予算でありすみやかに次年度に使用する。
|
