2018 Fiscal Year Final Research Report
Performance improvement on neural networks that actively employ the constraints of hardware circuits
| Project/Area Number |
17K20010
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Research Field |
Human informatics and related fields
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
Tamukoh Hakaru 九州工業大学, 大学院生命体工学研究科, 准教授 (90432955)
|
|---|
| Research Collaborator |
SUZUKI Akihiro
HORI Sansei
PRAMANTA Dinda
YOENG JYE Yeoh
FUENGFUSIN Ninnart
|
|---|
| Project Period (FY) |
2017-06-30 – 2019-03-31
|
| Keywords | ニューラルネットワーク / 演算誤差 / ディジタルハードウェア / FPGA |
|---|
| Outline of Final Research Achievements |
We employ rounding errors that occur in hardware circuits as random numbers for training restricted-Boltzmann Machine (RBM) neural networks. We also propose a modified dropout algorithm that employs a simple rule for training multi-layer perceptron (MLP), convolutional neural networks (CNN) and long-short-term memory (LSTM) neural networks. By using these proposed methods, we can reduce hardware resources for random number generators and improve the performance of neural networks implemented by hardware circuits.
|
| Free Research Field |
脳型計算機システム
|
| Academic Significance and Societal Importance of the Research Achievements |
深層学習が大きな注目を集めるにつれて，多数の回路研究者が深層学習のアクセラレータ開発へと集結している．しかし，ニューラルネットワークの理論やアルゴリズムにまで踏み込んだ回路実装に関する研究領域は未開拓で，特に消費電力や排熱が重要となる組込み化はこれからの領域である．本研究成果により，乱数生成に係わる一部分ではあるが，ニューラルネットワークを理論面から軽量化することに成功し，回路化への道筋を付けることができた．本成果により，我が国が得意とする組込みシステムや自動車・ロボット分野への深層学習応用について大きな貢献が期待できる．
|
