2020 Fiscal Year Annual Research Report
On a noise convolutional neural network
| Project/Area Number |
19H04078
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
中原 啓貴 東京工業大学, 工学院, 准教授 (20624414)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐野 健太郎 国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (00323048)
佐藤 真平 東京工業大学, 工学院, 助教 (80782763)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | FPGA / CNN / 画像圧縮 |
|---|
| Outline of Annual Research Achievements |
雑音畳み込みCNNの専用回路の開発を行い、パラメータ数削減に適した雑音生成回路を明らかにした。得られた成果を元に、組込み向け推論専用チップの設計と雑音畳込みCNNの高速学習クラスタの開発の検討を行った。
CNNでは大量のパラメータが速度・メモリ量において問題である。様々なパラメータ削減法が提案されており、ビット精度削減・枝刈り（スパース化）・ハフマン符号等による圧縮・CNNの構造(レイヤ数・チャネル数)の削減を検討した。その結果、本研究で実施する「ノイズでパラメータを置換する」手法は既存のパラメータ削減法とは独立した手法であり、既存手法と組合わせることで更に削減可能であることを明らかにした。JPEG画像圧縮におけるハフマン符号による圧縮画像と直接推論する学習方法とその回路方式を設計し、FPGAにて実装を行った。また、この構成を効率よく実行するCNNの構造を検討した結果、チャネル並列に実行を行うCNNの構造とそのハードウェア構成を明らかにした。これらの検討をもとに、FPGAクラスタ実行に適したゲート方式CNNの表現方法と学習方法を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
様々なパラメータ削減法が提案されており、ビット精度削減・枝刈り（スパース化）・ハフマン符号等による圧縮・CNNの構造(レイヤ数・チャネル数)の削減を検討した。その結果、本研究で実施する「ノイズでパラメータを置換する」手法は既存のパラメータ削減法とは独立した手法であり、既存手法と組合わせることで更に削減可能であることを明らかにできた。
しかし、COVID-19による発表機会の減少と共同開発に向けたディスカッションの機会減少により、当初よりもやや出版数が少なめであった。
|
| Strategy for Future Research Activity |
雑音CNNの学習時間が回路開発に占める割合が大きいため、マルチGPU学習環境を整備する。雑音CNN専用回路の設計を行い、FPGAプロトタイプ
実装を行う。雑音生成回路と1×1サイズ畳込みを組み合わせた構成に適したノイズ生成回路を調査し、回路実装する。GPUと比較して提案手法
の優位性を示す。
COVID-19による国際会議の発表が不活発になったことに関しては、学術雑誌主体の発表方式に切り替える。
|
Research Products
(7 results)
