2014 Fiscal Year Research-status Report
同期シフトデータ転送に基づくディープラーニング・ハードウェア構成法の研究
| Project/Area Number |
26330060
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
北澤 仁志 東京農工大学, 工学(系)研究科(研究院), 教授 (60345329)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
富岡 洋一 東京農工大学, 工学(系)研究科(研究院), 助教 (10574072)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | ディープラーニング / FPGA / リコンフィギャラブルシステム / 物体識別 / 移動物体抽出 |
|---|
| Outline of Annual Research Achievements |
本研究はディープラーニングの高速処理と高機能化のために，FPGA を用いた並列処理手法の実現を目指している．平成２６年度はまず，SIMDアレイでの並列処理手法としてメモリアクセス競合やバス競合を生じない“同期シフトデータ転送”を適用したデープラーニング回路をFPGA上に作成した．またディープラーニングを動画像中の移動物体の識別に適用するため，同じSIMDアレイ上に移動物体抽出回路を実装した．
２．CIFAR-10の物体識別を実現する回路をStratix Ⅴ上に実装した．本回路には，メモリアクセスやバスの競合を避けるために同期シフトデータ転送を適用し，また，誤差逆伝播の高速処理のためのリダクション回路を実装した．その結果，1フレーム当たり前進解析で5.1ms，誤差逆伝播で14.1msの処理速度を得た．処理速度ではGPGPUを超えることはできなかったが，主な原因は，係数Wijが極めて多量でメモリに入りきらず外部メモリとの通信待ちになること，出力段に近づいてノード数が減少したところでは並列度が低下してしまうこと，であることを明らかにした．これらに対応するには２つの方向が考えられる．一つはアレイ型でなくパイプライン処理を主体にすることで現在改変を進めている．もう一つはディープニューラルネットワーク単独でなく，これを応用するシステム全体としての高性能化を目指す方法が考えられる．
２．後者の例として，動画像中の物体の識別に適用する場合は，移動物体の抽出追跡と一体としてディープラーニング実現する方法が考えられる．移動物体抽出はSIMDアレイにより極めて高速に処理できるためフレームデータを待つ時間が生じ，この間に物体の識別を実行すればディープラーニングの実行時間は無視できる．複数のカメラ入力を１枚のFPGAボードで処理するシステムへの適用を目指し，移動物体抽出部分を作成した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定通り，同期シフトデータ転送に基づくSIMDアレイ型並列処理回路により，FPGA上にディープラーニングの回路を実現し，性能の評価，解析を実行した．処理速度自体はまだ十分とは言えないが，速度低下の原因を解析した結果，重み係数のメモリ転送とノード数減少時の並列度低下が原因であることが分かり，これらを回避する手法を考案して改良を進めている．一つの方法はパイプライン化などのディープラーニングに適したハード形体への改良を試みている．もう一つの方法はディープラーニング単独でなく，これを適用するデータを生成する部分と一体としてシステム全体の性能を向上させる方法であり，動画像中の移動物体の抽出とディープラーニングによる物体識別を組合わせたシステムの実現に向けて回路設計を進めている．
|
| Strategy for Future Research Activity |
ディープラーニング処理の高速化，移動物体と物体識別の中でのディープラーニングの応用，および，事前学習を用いたディープラーニングの学習の効率向上の３点を中心に研究を進める．
ディープラーニング処理の高速化では，チップ外とのデータ転送の不規則性によって演算器稼働率が低下することを防ぐため，積和演算器のパイプラインを適用する．また，積和演算器の数の調節によりノード数の小さいレイヤでの演算器稼働率低下を防ぐ．これらによってGPGPUを処理速度の点で超えられるかどうかを明らかにする．
統合システムに関しては２６年度に実現した複数カメラ映像からの移動物体抽出に，ディープラーニングによる物体の識別機能を組み込む．この処理はSIMDアレイで実装するため，レイヤ間の不均一性をできるだけ避けるような構成法を明らかにする．また，物体の識別率向上のため，移動物体抽出の性能の向上も目指す．
ディープラーニングの学習は基本的に乱数初期値など，識別機能を持たない状態からスタートするが，事前知識として部分的に有効な係数が分かっている場合は，それを初期値とすれば学習効率を改善できる可能性があり，このような事前学習手法を明らかにする．
|
| Causes of Carryover |
当初計画では画像処理用PCを購入する予定であったが，円安による価格高騰などにより割当てられた経費内では購入できなかったため．当該機器は次年度に購入する．なお，この間は他の機器を利用していたが，現時点ではまだデータの規模が小さいため，処理速度は十分ではないが大きな支障は生じていない．
|
| Expenditure Plan for Carryover Budget |
２７年度の経費と合わせて画像処理用の大容量PCを購入する．また，Host PC-FPGAボード間インタフェースの拡張，国際会議出張旅費，および，学生による論理回路設計検証の謝金を支出する．
|
Research Products
(3 results)
