研究課題
本研究は,ハードウェア指向ニューラルネットワークの構築を目指すものである.ハードウェア化の際に生じる,一般的には不利に働く誤差や通信遅延等を積極活用することで,その性能向上に挑戦するものである.まず,ハードウェア指向Restricted Boltzmann machine (RBM)として,乱数生成を用いずにRBMをハードウェア実装する手法を提案した.これは固定小数点演算時に生じる小数部の切り捨てbitを乱数の代替として利用するものである.MNISTを提案手法で学習させた場合,切り捨てビットの値に偏りが存在することがわかり,確率サンプリングに敏感なRBMの学習に切り捨てビットを用いる方式の学習能力は,入力データや重み初期値の条件によってかなりばらつくことが分かった.次に,乱数生成器が不要なハードウェア指向Dropoutを提案した.Dropoutは,ニューラルネットワークの学習中にランダムにニューロンやシナプスを欠損させることでその性能向上を狙うものである.提案手法を多層パーセプトロンと回帰型ニューラルネットワークへと適用,事前定義したビットマスクを極めて単純なルールで適用するだけで,ランダムサンプリングと同等の性能が得られた.Dropoutのような確率サンプリングに鈍感な方法では,提案手法の有効性が高いことが分かった.さらに,書き換え可能Field Programmable Gate Array(FPGA)を二つ用い,シリアル通信部に位相振動子を置き,パルスタイミングで情報伝達する方式を提案し,通信遅延が存在する場合でも振動子の同期現象が再現できるという,基礎的な結果を得た.
すべて 2019 2018 その他
すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 1件) 学会発表 (4件) (うち国際学会 2件、 招待講演 1件) 備考 (1件)
PLOS ONE
巻: 13 ページ: e0194049
https://doi.org/10.1371/journal.pone.0194049
Proc. of 2018 International Workshop on Smart Info-Media Systems in Asia (SISA2018)
巻: - ページ: RS-13
Proc. of 2018 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS2018)
巻: - ページ: FM1B-3
https://www.brain.kyutech.ac.jp/~tamukoh/