2018 Fiscal Year Annual Research Report
Performance improvement on neural networks that actively employ the constraints of hardware circuits
| Project/Area Number |
17K20010
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
田向 権 九州工業大学, 大学院生命体工学研究科, 准教授 (90432955)
|
|---|
| Project Period (FY) |
2017-06-30 – 2019-03-31
|
| Keywords | ニューラルネットワーク / 演算誤差 / ディジタルハードウェア / FPGA |
|---|
| Outline of Annual Research Achievements |
本研究は，ハードウェア指向ニューラルネットワークの構築を目指すものである．ハードウェア化の際に生じる，一般的には不利に働く誤差や通信遅延等を積極活用することで，その性能向上に挑戦するものである．
まず，ハードウェア指向Restricted Boltzmann machine (RBM)として，乱数生成を用いずにRBMをハードウェア実装する手法を提案した．これは固定小数点演算時に生じる小数部の切り捨てbitを乱数の代替として利用するものである．MNISTを提案手法で学習させた場合，切り捨てビットの値に偏りが存在することがわかり，確率サンプリングに敏感なRBMの学習に切り捨てビットを用いる方式の学習能力は，入力データや重み初期値の条件によってかなりばらつくことが分かった．
次に，乱数生成器が不要なハードウェア指向Dropoutを提案した．Dropoutは，ニューラルネットワークの学習中にランダムにニューロンやシナプスを欠損させることでその性能向上を狙うものである．提案手法を多層パーセプトロンと回帰型ニューラルネットワークへと適用，事前定義したビットマスクを極めて単純なルールで適用するだけで，ランダムサンプリングと同等の性能が得られた．Dropoutのような確率サンプリングに鈍感な方法では，提案手法の有効性が高いことが分かった．
さらに，書き換え可能Field Programmable Gate Array（FPGA）を二つ用い，シリアル通信部に位相振動子を置き，パルスタイミングで情報伝達する方式を提案し，通信遅延が存在する場合でも振動子の同期現象が再現できるという，基礎的な結果を得た．
|
