2019 Fiscal Year Annual Research Report
パイプラインバックプロパゲーションを用いたディープラーニングプロセッサ
| Project/Area Number |
18H01500
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
川口 博 神戸大学, 科学技術イノベーション研究科, 教授 (00361642)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ディープラーニング / 低消費電力プロセッサ / SRAM |
|---|
| Outline of Annual Research Achievements |
IoTデバイスの低エネルギ画像認識の需要は様々な分野に拡大しており、特に自動運転応用ではレベル４・レベル５を目指した高度な車体姿勢が求められている。カメラの増加や高解像度化に反して、低エネルギ処理とリアルタイム性維持の両立が求められている。画像解像度の向上は処理すべき画像データ量と演算処理量の増大を意味し、特に内部メモリの電力消費の増加を招く。実際画像プロセッサの電力の40%以上はメモリが消費している。また外部DRAMインタフェースとの帯域の増加も導かれる。画像処理プロセッサではマルチスレッド処理を行うために複数の演算コアが内部SRAMへ同時アクセスを要求するとともに、外部DRAMに膨大なアクセスを行う。本年度は多ポートSRAMを用いたテーブル参照量子化を行うことで、内部メモリに対するアクセスを維持したまま、外部DRAM帯域の削減の検討を行った。提案するテープル参照方式は従来の線形量子化と同じ圧縮率であるが、表現力が大きいため精度の劣化が少ない。Fashion MNISTをベンチマークとしたネットワークにおいて、32ビット浮動小数点重み（精度90.1%）に対して4ビット線形量子化では2.8%劣化（同87.3%）となるが、提案する4ビットテーブル参照方式では0.4%劣化（同89.7%）に留まる。本年度は多ポートSRAMの設計も行った。
また低エネルギ画像認識応用として、サブミクロンレベルのレーザ加工形状推定技術を提案した。光学顕微鏡の撮像面を段階的に変化させる仕組みを搭載することで、撮像範囲と撮影条件を固定したまま焦点面のみを上下方向へ変化させた焦点画像スライスを用いる。レーザ顕微鏡による形状情報を教師データとし、ニューラルネットワークを学習させた。アルミナセラミックス材料に対して、深さ方向0.5ミクロンごとに焦点画像群を撮影し形状推定を行った。溝形状、リッジ形状の両方において、サブミクロン精度の形状推定が可能であることを確かめた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度前半にディープラーニングプロセッサアーキテクチャを開発し、年度後半から分散メモリフローを確立し、シリコンチップとして設計・製造の両方をする予定であったが、研究を進めていく過程で並列実行ディープラーニングプロセッサアーキテクチャにテーブル参照メモリを実装することで、演算精度を維持しながらメモリ容量とメモリ帯域の削減が図れ、低エネルギ化を達成可能であるという見込みを得た。このテーブル参照メモリには多ポートSRAMが有効であることがわかったため、本年度はシリコンチップの設計のみに留まってしまった。しかしながら、シリコンチップを製造するという大枠の計画に変更はなく、最終年度には当初の目的を達成することができると考えている。この変更により、より良い性能が期待できるようになった。
また画像認識応用の開発については順調に研究が推移した。微細なレーザ加工結果を検査する際に必要な物体の形状観察については、レーザ顕微鏡やX線検査装置などが知られているが、いずれも測定にかかる時間が長く、また特殊な据え置き型測定装置や前処理が必要なため、一度製品を加工装置から取り出し測定機器に搭載するなど多くの手間がかかり、さらに高価であるといった問題点があった。本研究では通常の光学顕微鏡を用いた安価かつ工数がかからず高速に形状観察することでこの問題を打ち破ることができた。
|
| Strategy for Future Research Activity |
設計した多ポートSRAMの製造を行い、その低エネルギ性能の評価を行う。特に重みのみならず、アクティベーションもテーブル参照量子化した時の外部DRAM帯域減少によりエネルギ効率向上の度合を評価する。現在、テーブル作成にはヒューリスティックアルゴリズムの一種であるBashin Hoppingを用いているが、学習処理時間がかかることが難点であり、精度劣化を抑えながらも短時間で学習を行うアルゴリズムの開発を行う。またアクティベーション用のテーブルは動的に変化させると精度劣化が抑えられることが考えられ、このアルゴリズムの開発も行う。
画像認識応用においては焦点画像スライスを用いた二次元ネットワークを三次元に拡張させたい。焦点画像群をスライスさせず、そのままの三次元形状のまま用いることで、より良い形状推定精度となることが期待できる。この場合にはネットワークのメモリアクセスが複雑となるが、これに適したテーブル決定アルゴリズムも考慮したい。
|
-
-
-
[Presentation] R. Kawamoto, M. Taichi, M. Kabuto, D. Watanabe, S. Izumi, M. Yoshimoto, and H. Kawaguchi, "A 1.15-TOPS 6.57-TOPS/W DNN Processor for Multi-Scale Object Detection2020
Author(s)
R. Kawamoto, M. Taichi, M. Kabuto, D. Watanabe, S. Izumi, M. Yoshimoto, and H. Kawaguchi
Organizer
IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS)
Int'l Joint Research
-
-
-
-
