| 研究課題/領域番号 |
18H03217
|
|---|
| 研究機関 | 早稲田大学 |
|---|
研究代表者 |
木村 晋二 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (20183303)
|
|---|
| 研究分担者 |
戸川 望 早稲田大学, 理工学術院, 教授 (30298161)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | データ表現と誤差解析 / データ圧縮 |
|---|
| 研究実績の概要 |
今年度は、データの表現形式と精度の関係について理論的な研究を継続して行った。とくに、Convolutional Neural Network （CNN）を題材として、畳み込みにおける高次の Winograd 法で乗算回数を削減した場合の積和演算の誤差や、プーリングなどの非線形関数における誤差、Normalizationや学習時の逆方向の演算における誤差の蓄積に関する研究を行った。
第二に、再構成アクセラレータ上で誤差解析を行うハードウェアモジュールの研究を行った。具体的には、現在のデータ形式のハードウェアに少量の回路を付加する方式の検討を行い、指数部や仮数部のビット数を数ビット多めに持つこと、および誤差をデータと同じ精度で持つ手法の研究を行った。
第三に、再構成アクセラレータの効率最適化のために、CNN 等の応用で多用される乗算器へのApproximate Computing の適用と平均相対誤差距離の評価を行った。整数乗算器の部分積のビット単位での近似法と部分積のグルーピングに基づく近似法の研究を行い、平均相対誤差距離を数 % で抑えつつハードウェアを削減する手法を示した。また、FPGA の LUT (Look Up Table) レベルでの整数乗算器の近似手法を提案した。さらに、Approximate 浮動小数点乗算の研究を行い、手法の提案と同時に解析的な最大誤差評価の手法を示した。
新しいデータ形式に関しては、ブロック浮動小数点数を含むカスタム浮動小数点数の研究と、CNN の重みなど疎行列の表現形式の検討を行った。疎行列では非ゼロの要素のインデックス情報を削減するため、Compressed Row Storage (CRS) 法に基づく手法の研究を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
量子化などのデータ形式に対する誤差解析手法およびそれをハードウェア上で行う方式については、手法の検討と実際の応用での評価を含めてほぼ予定通り進捗している。量子化を含めた Convolutional Neural Network (CNN) の開発環境を整え、その上で種々の実験がおこなえるようにしている。
Approximate Computing の適用については、手法の提案および誤差解析に基づく評価法の研究も予定通りである。国内会議、国際会議での研究発表も行っている。平均誤差評価では、全数検査を行うが、このための計算機環境も整備しており、16ビット乗算までは正確な誤差評価をできるようになっている。
新しいデータ形式については、情報量を維持したままデータ量を削減する手法の検討を行っており、予定通り進行している。疎行列のデータ削減手法の一般的な手法の開発と同時に、特定の応用向けの手法の検討も行っている。
|
| 今後の研究の推進方策 |
今年度も、データの表現形式と精度の関係についての理論的な研究を継続して行う。とくに、ResNet など Residual 方式を用いた層数の大きいConvolutional Neural Network （CNN）に対して、量子化時の積和演算だけでなく、プーリングや relu活性化関数など非線形関数での誤差、Normalizationや学習時の逆方向の演算における誤差の蓄積に関する研究を行う。
誤差解析を再構成アクセラレータ上で行うハードウェアモジュールの研究を継続して行う。現在のデータ形式のハードウェアに少量の誤差解析の回路を付加することで、計算結果の誤差の最大を評価するハードウェアについて、Cプログラムを用いて方式設計を行い、その後高位合成を用いてハードウェア化を行う。ビットレベルのデータ形式の設定では Cの拡張ライブラリを用いた設計を行う。
また、再構成アクセラレータでの効率の最適化のために、Approximate Computing に基づく演算器設計と、その誤差の解析手法の研究を継続して行う。Approximate Computing ではデータ形式そのものではなく、加算や乗算の一部を論理的な OR などで簡略化して、演算回路の電力、面積、遅延を最適化する。演算結果は正確ではないが、平均相対誤差距離を数%に保つことで、画像のフィルタリングやCNN のように計算誤差に対する耐性を持つ応用で利用できる。入力や出力のデータ形式とApproximate Computing における内部データ形式の関係について理論的な研究を行う。
新しいデータ形式に関しては、共有指数部を持つブロックカスタム浮動小数点数の研究と同時に、CNN の重みなど疎行列の表現形式の検討を行う。疎行列では、非ゼロ要素のインデックス情報の削減についてさらなる検討を行う。
|
