| Project/Area Number |
21K11818
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60040:Computer system-related
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | どこでもAIに向けての省電力機械学習エンジン / Computing in Memory / アテンション / チャネルアテンション / 空間アテンション / 機械学習 / 次元分離 / 電源遮断 / コンピューティング イン メモリ / ポイントワイズ / スパース化 / 電力削減 |
|---|
| Outline of Research at the Start |
本研究は、電力削減を目的に機械学習用のMemoryとComputingの二役をこなす Computing in Memory (CIM)の回路研究に関するもので、モデルアーキテクチャの観点から次元分離によるスパース化の提案を原理的に実装可能なCIM構造を提案するものである。
アーキテクチャによる次元分離に欠かせない1x1演算対応CIMを初めて開発し、「①得られたスパース領域をCIM回路上での実際の動作停止/電源遮断につなげる。一方で、②省電力化に結びつかないスパース領域は多値表現に適応的に活用し2値化による精度劣化を補償する」など、単独ではなし得ない精度と電力削減のトレードオフの問題を解決する。
|
| Outline of Final Research Achievements |
This research aims to reduce unnecessary calculations in CNN models, and the dimensionality reduction in the channel direction is 1) the most efficient means of reducing parameters without reducing accuracy, and 2) also contributes in terms of hardware implementation. The study results showed that it is relatively easy to prune channels with low frequency. In this study, we used the SE-ResNet Attention algorithm and demonstrated from experimental results that it is possible to speed up the learning curve by using a binary method in the process of determining the feature map to be attended to. We clarified that the average channel reduction rate is approximately 50% in three blocks of ResNet14 configuration, which is a uniquely compact ResNet configuration.
|
| Academic Significance and Societal Importance of the Research Achievements |
機械学習用のMemoryとComputingの二役をこなす Computing in Memory (CIM)が電力削減を目的に注目されている。しかし現状のCIM構造ではスパース領域を「電力削減制御や、逆に精度補償用の多値量子化」に活用できない。本研究は、アーキテクチャによる次元分離に欠かせないCIMを開発し、得られたスパース領域を実際の動作停止/電源遮断につなげる。省電力化に結びつかないスパース領域は多値表現に適応的に活用し2値化による精度劣化を補償するなど、精度と電力削減のトレードオフの問題を解決する。結果、時代が求めている「どこでもAIに向けての省電力機械学習エンジン」を可能にする。
|
