Ultra energy-efficient DNN accelerator based on non-product-sum-type arithmetic
| Project/Area Number |
22H03555
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60040:Computer system-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
劉 載勲 東京工業大学, 科学技術創成研究院, 准教授 (70726976)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本村 真人 東京工業大学, 科学技術創成研究院, 教授 (90574286)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Declined (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2023: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2022: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000)
|
|---|
| Keywords | DNN / アクセラレータ / 非積和 / エネルギー効率 / ニューラルネットワーク / DNNアクセラレータ / 非積和型 / 超高エネルギー効率 |
|---|
| Outline of Research at the Start |
本研究では非積和型演算に基づく超高エネルギー効率DNNアクセラレータの実現を目指し，そのアルゴリズムとアーキテクチャの研究を行う。研究期間の前半では近似コンピューティング視点から積和型NN の分析・最適化を行い、その本質的な構成要素を明らかにする。またそれと並行して宝くじ仮説に基づくNN の更なる効率化・高精度化の研究を進め、数値的近似に頼らない軽量かつ高精度な非積和型NN を実現する。研究期間の後半では、前半の知見を基に、デジタル・アナログの非積和型情報処理を基本演算要素として活用した超高エネルギー効率の深層NN (DNN)アクセラレータを実現し、来るべき高度情報社会の実現に貢献する。
|
| Outline of Annual Research Achievements |
令和４年度は、非積和型演算に基づく超高エネルギー効率 DNN アクセラレータの実現に向けて、 強い宝くじ仮説（SLT）に基づく新たな DNN アルゴリズムを提案し、非積和型演算を用いたアクセラレータ実現の基礎を整えた。
SLT は、初期化された乱数重みニューラルネットワークから機能する乱数の部分ニューラルネットワークを抽出する。学習時に乱数生成器によって生成した２値重みを、同一乱数シードで推論時にも再生成できる。そのため、メモリ要求が少なく、積和演算を必要としないの特徴であるが、通常のニューラルネットワークに比べて推論精度の劣化が見られる。
本研究では、SLT の推論精度を向上するための M-Sup の研究と、SLT の更なる圧縮を可能にする HFN の研究を実施し、それぞれの成果を一線級の国際会議と論文誌で公表した。
まず、M-Sup は、SLT で乱数重みの使用有無を表現する Supermask の学習時に発生する問題を数学的に分析し、ほぼ同等の時間で、逆伝播時の情報をより効率良く活用できる多重 Supermask の学習方法を提案した。これにより既存 SLT や通常のニューラルネットワークでは達成できなかったモデルサイズ当たりの推論精度を達成できている。こちらの成果は、人工知能分野のトップ会議である国際学会 ICML で公表されている。
次に、HFNの研究では BMVC 2021 で同メンバーが行った HFN の元提案を更に分析し、HFN を用いたより高度な推論モデル実現の可能性を示した。HFN は SLT におけるネットワークのレイヤーを繰り返し使用するリカレントタイプのネットワークで、DNN とリザーバコンピューティングの中間的な立ち位置にある。こちらの成果は論文誌 IEEE ACCESS で公表されている。
|
| Research Progress Status |
翌年度、交付申請を辞退するため、記入しない。
|
| Strategy for Future Research Activity |
翌年度、交付申請を辞退するため、記入しない。
|
Report
(1 results)
Research Products
(2 results)
