2018 Fiscal Year Annual Research Report
再構成アクセラレータにおけるデータ形式最適化と精度保証
| Project/Area Number |
18H03217
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
木村 晋二 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (20183303)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
戸川 望 早稲田大学, 理工学術院, 教授 (30298161)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | データ表現と誤差解析 / データ圧縮 |
|---|
| Outline of Annual Research Achievements |
平成30年度は、画像コーデックにおける中間データの圧縮方法および CNN (Convolutional Neural Network) のデータ形式の最適化に関する研究を行った。とくに、画像データの組込み圧縮法と、畳み込み演算における Approximate Computing 手法の研究を行った。環境整備としては、CNN の開発環境の caffe での誤差解析のための環境整備ならびにその上での評価実験と、FPGA の高位合成環境の整備とテストを行った。また、データ形式を決めた場合の誤差の伝播と蓄積の計算法についての文献調査や理論的な検討を行った。
まず、画像処理のための画像データの組込み圧縮法に関して、情報ロスを含む Lossy圧縮法の提案を行った。本手法は、量子化と可変長符号化を組合せた方式に基づいており、メモリバンド幅を大幅に削減することを可能とした。
同時に、CNNの誤差を許容できる性質を用いて、演算の一部を簡略化し、回路の面積、遅延、電力を削減する Approximate Computing 手法の研究を行い、乗算回路の新たな Approximate 手法をいくつか提案した。乗算では部分積の加算を繰返すが、下位側を OR で近似計算する手法や、部分積の順序を入れ替えることで精度を保持したまま回路を簡単化する手法の検討を行った。
また、Ubuntu で caffe に基づく環境を用い、浮動小数点データに対する種々のデータ形式の適用と、乗算と加算における演算誤差の解析方法および誤差の伝播方法の研究を行った。これまでに、浮動小数点数のカスタマイズについて、仮数部のビット数を3 に、また指数部のビット数を5 に削減してもトレーニングを含め十分な認識精度が得られるという結果を得ている。ここではそれを発展させ、動的なデータ形式の変更に関する検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
画像データに関する組込み圧縮法については、順調に研究が推移している。CNN への応用では、ImageNET2012 に対する AlexNet で1%の認識率悪化の許容で 57% のデータ削減を達成した。HOG (Histograms of Oriented Gradients) 特徴量の抽出では、提案のデータ削減手法でメモリアクセスのエネルギーを全体で41%削減できた。組込み Lossy Compression 手法については IEEE Access に掲載された。
演算の精度を犠牲にして回路の簡単化を行う Approximate Computing の研究についても順調に進んできた。とくに乗算に関していくつか提案を行い、国際会議で発表している。CNN におけるカスタム浮動小数点数など、データ表現の手法の研究についても順調である。
誤差と精度の関係については、誤差の積算に基づく手法の検討を行っている。積和演算の回数が非常に大きく、誤差評価も非常に大きくなることへの対応と、Max Pooling などの非線形な演算の処理での誤差の評価が今後の課題となっているが、理論的な誤差の解析についても順調であると言える。FPGA 上での開発環境の整備も順調であり、プロトタイプ回路の設計を行ってきている。
|
| Strategy for Future Research Activity |
今後は、平成30年度に続き、データの表現形式と精度の関係について理論的な研究を継続して行う。とくに、CNNを題材として、畳み込みにおける Winograd 法による積和演算での誤差や、プーリングや活性化関数など非線形関数における誤差、Normalizationや学習時の逆方向の演算における誤差の蓄積に関する研究を行う。Binarized CNN やTernarized CNN における学習時の誤差解析についても研究を継続して行う。
誤差の蓄積に関する研究成果に基づき、誤差解析を再構成アクセラレータ上で行うハードウェアモジュールの研究を行う。具体的には、現在のデータ形式のハードウェアに少量の回路を付加することで、計算結果の誤差を計算するハードウェアの研究である。まず、プログラムを用いて方式設計を行い、その後高位合成を用いてハードウェア化を考える。ビットレベルのデータ形式の設定では Verilog を用いた設計を行う。
また、再構成アクセラレータでの効率の最適化のために、Approximate Computation の適用と、その誤差の解析手法の研究を行う。Approximate Computation ではデータ形式そのものではなく、加算や乗算の一部を簡略化して回路の電力、面積、遅延を最適化する。結果として出力は正確なものではなくなるが、CNN のように計算誤差に対する耐性を持つ応用では性能低下が許容可能な範囲であれば、適用が可能である。Approximate Computing は一時データ形式と関連があり、これらの関係を明確にする。
新しいデータ形式に関しては、カスタム浮動小数点数の研究と同時に、CNN の重みなど疎行列の表現形式の検討を行う。疎行列では、各数値のデータ形式の他に、非ゼロの要素をどのように効率よく表現するかが重要である。
|
Research Products
(6 results)
