2017 Fiscal Year Research-status Report
回路化の際に生じる制約を積極活用するニューラルネットワークの高性能化
| Project/Area Number |
17K20010
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
田向 権 九州工業大学, 大学院生命体工学研究科, 准教授 (90432955)
|
|---|
| Project Period (FY) |
2017-06-30 – 2019-03-31
|
| Keywords | ニューラルネットワーク / 演算誤差 / FPGA |
|---|
| Outline of Annual Research Achievements |
本研究計画では，回路化の際に生じる，一般的なアルゴリズムでは性能に悪影響を与える制約を積極的に活用することで，ニューラルネットワークの高性能化を目指す．回路化の視点から理論を改良すると共に，その回路アーキテクチャを提案することで，ニューラルネットワークの高性能化を目指す．
回路化の際に生じる制限のひとつである演算精度の低下を積極活用することでニューラルネットワークの性能向上へと挑戦する．Restricted Boltzmann Machines（RBM）を固定小数演算で学習する際に演算過程で現れる誤差を乱数の代わりとして用いるアルゴリズムについて，手書き文字認識のデータセットであるMNISTを用いた実験を行った．その結果，演算誤差の現れ方に大きな偏りがあることが分かり，RBMの学習が上手く進まないことが分かった．事前の研究で用いていたSIDBAデータセットではRBMの学習が正常に進んでいた．よってこれは，MNISTが殆ど2値の画像であるため，中間値を取りにくいなどといったデータセット固有の原因があるのではないかと考えられる．従って，入力のデータセットによって，演算過程に現れる数値に様々な性質が現れるのではないかと考えられる．引き続き，様々なデータセットでの検証を進める予定である．
Deep Learningで良く用いられるDropoutについて，RBMと同じアナロジーで乱数不要のアルゴリズムを構築することを試みた．その結果，初期設定しておいたランダムな数値列を規則的に操作するのみでDropoutと同様の効果が得られることが分かった．RBMのように演算誤差を参照する必要すらない，極めて簡略化された構造での回路化が可能であることが分かった．本成果は国際学会ICONIPで発表した．
振動子を用いたFPGAチップ間通信の基礎的な実験を完了した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
RBMでMNISTを学習したケースでは現状思い通りの成果は得られていない．一方で，行列演算ライブラリを活用した実験用プログラムの作成や，自前の固定小数点化ライブラリ，誤差ヒストグラムの生成ライブラリ等を順調に整備出来ており，今後，様々なデータセットでの実験環境が整ってきた．
Dropoutでは当初の予想以上の簡略化が可能となった．
以上を総合的に勘案して，本研究計画はおおむね順調に進展していると言える．
|
| Strategy for Future Research Activity |
これまでに整備してきたプログラム群を用いて，演算誤差を活用するニューラルネットワークアルゴリズムに関する更なる検証を進める．Cifer10等のいくつかのデータセットを用いて演算過程に現れる数値の性質を検証してRBMへと生かせないかを検討する．
上記のアルゴリズム検証に一定の目途が付いた段階で，ハードウェアアーキテクチャの検討を行う．
位相振動子やパルスタイミングを用いた新たなFPGA回路間通信方法について検討し，ニューラルネットワーク回路を接続する新たなネットワーク構造の実現を目指す．
|
| Causes of Carryover |
物品費で大きな割合を占めていたGPUワークステーションについて，新型のVoltaアーキテクチャのGPUが出回る前の段階であったため，旧型のPascalアーキテクチャのGPUを揃えるのは効率的では無く，次年度の早期に予算を回す方が良いと考えて次年度使用額が生じた．なお，現有のGPUワークステーション資産を有効活用することが出来たため，研究の進捗としては問題なかった．
人件費，旅費に関しては，雇用を予定していた学生が別プロジェクトとの兼ね合いで雇用が出来なかったこともあり，当該予算は次年度使用に回す方が良いと考えて次年度使用額が生じた．
|
