| 研究課題/領域番号 |
21K11818
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60040:計算機システム関連
|
|---|
| 研究機関 | 福岡工業大学 |
|---|
研究代表者 |
山内 寛行 福岡工業大学, 情報工学部, 教授 (70425239)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2021年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
|
|---|
| キーワード | どこでもAIに向けての省電力機械学習エンジン / Computing in Memory / アテンション / チャネルアテンション / 空間アテンション / 機械学習 / 次元分離 / 電源遮断 / コンピューティング イン メモリ / ポイントワイズ / スパース化 / 電力削減 |
|---|
| 研究開始時の研究の概要 |
本研究は、電力削減を目的に機械学習用のMemoryとComputingの二役をこなす Computing in Memory (CIM)の回路研究に関するもので、モデルアーキテクチャの観点から次元分離によるスパース化の提案を原理的に実装可能なCIM構造を提案するものである。
アーキテクチャによる次元分離に欠かせない1x1演算対応CIMを初めて開発し、「①得られたスパース領域をCIM回路上での実際の動作停止/電源遮断につなげる。一方で、②省電力化に結びつかないスパース領域は多値表現に適応的に活用し2値化による精度劣化を補償する」など、単独ではなし得ない精度と電力削減のトレードオフの問題を解決する。
|
| 研究成果の概要 |
本研究はCNNモデルの無駄な計算を削減することを目指し、チャネル方向の次元削減が、１）精度を落とさずパラメータを削減できる最も効率の良い手段である、２）ハードウエア実装の点でも貢献度が少ないチャナネルを刈り取ることは比較的容易であるとの検討結果を得た。本研究では、SE-ResNet Attention アルゴリズムを用い、実験結果からAttentionすべき特徴マップの決定プロセスにバイナリー法を用いることで、学習曲線を高速化可能であることを明らかにした。ResNetの構成を独自にコンパクトにしたResNet14構成の3ブロックで平均チャネル削減割合が約50％になることを明確にした。
|
| 研究成果の学術的意義や社会的意義 |
機械学習用のMemoryとComputingの二役をこなす Computing in Memory (CIM)が電力削減を目的に注目されている。しかし現状のCIM構造ではスパース領域を「電力削減制御や、逆に精度補償用の多値量子化」に活用できない。本研究は、アーキテクチャによる次元分離に欠かせないCIMを開発し、得られたスパース領域を実際の動作停止/電源遮断につなげる。省電力化に結びつかないスパース領域は多値表現に適応的に活用し2値化による精度劣化を補償するなど、精度と電力削減のトレードオフの問題を解決する。結果、時代が求めている「どこでもAIに向けての省電力機械学習エンジン」を可能にする。
|
