Ultra-small sparse matrix serial computation mechanism with memory transpose

2023 Fiscal Year Final Research Report

• Project/Area Number: 22K19775
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 60:Information science, computer engineering, and related fields
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: NAKASHIMA YASUHIKO 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (00314170)
• Co-Investigator(Kenkyū-buntansha): ZHANG Renyuan 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00709131) ; KAN YIRONG 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (50963732)
• Project Period (FY): 2022-06-30 – 2024-03-31
• Keywords: 確率的デジタル計算 / ニューラルネットワーク / 非決定論的学習

Outline of Final Research Achievements

First, based on a new bisectional neural network (BNN), we devised a mechanism in which logical PE arrays are flexibly partitioned and mapped to physical computing units. By adjusting the shape and position of the logical PE array, we demonstrated the ability to spatially reconfigure functions. Temporal reconstruction ability in terms of precision could be achieved by adjusting the length of the SC bitstream. It is shown that the energy efficiency is better than other state-of-the-art approximate computing units. Second, we devised a non-deterministic learning method for stochastic computing neural networks (SCNN). It was found that the increase in memory usage caused by long bitstreams can be suppressed, although the accuracy is slightly degraded.

Free Research Field

計算機システム

Academic Significance and Societal Importance of the Research Achievements

人工知能の実装に際し、これまで、厳密計算が不要であることに便乗した様々なデバイスを用いるアナログ計算手法が提案されてきた。しかし、主要なアプリケーションが、大規模言語モデルのように複雑化かつ大規模化するにつれ、アナログベースの計算基盤では太刀打ちできないことも明らかになってきた。今後、爆発的に普及することが予想される人工知能の実装手段としては、エネルギー効率を劇的に改善できるデジタル方式に期待がかかっている。本研究は、デジタル方式を維持しつつ、確率的計算を導入することにより、消費エネルギーを劇的に削減する手法として、有望である。