2020 Fiscal Year Annual Research Report
Development of 1-chip CNN real-time processor for semantic segmentation, distance estimation, and motion estimation
| Project/Area Number |
18K11350
|
|---|
| Research Institution | Kanazawa University |
|---|
Principal Investigator |
深山 正幸 金沢大学, 電子情報通信学系, 准教授 (30324106)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | CNN / 意味分割 / フロー推定 / SLAM / FPGA |
|---|
| Outline of Annual Research Achievements |
本研究の目的は意味分割と距離推定と動き推定の全処理を同時に実時間で実行可能な1チップCNN回路を実現することである。1個のFPGAに実装し、スループット目標を30 fps＠100MHzとする。全処理を同一構成の3×3畳み込みフィルタによる全CNNで実行する。精度劣化を抑えながら、ネットワーク構造および重みを共通化して記憶容量を削減する。データおよび重みの低ビット化で論理規模と記憶容量を削減する。畳み込み演算の超並列化により低周波数・低電力・高スループットを達成する。本プロセッサを用いたSLAMは自動運転車や自律ロボットを低コスト化し、普及を加速する。本研究成果の適用拡大は関連する学術および産業の発展に貢献する。
令和二年度には、１)物体輪郭推定と距離（視差）推定のマルチタスク学習、２)マルチタスクCNNのFPGA実装とVLSI実装を行った。従来、物体輪郭検出は輪郭と非輪郭の2クラス分類問題として扱われていた。これでは回帰問題である視差推定とのマルチタスク学習が困難である。そこで、輪郭検出を物体境界からの距離を推定する回帰問題へ帰着させた。そして二つの推定を同時に行う全ての重みを共有するCNNを考案した。各単独推定CNNと比較した同時推定CNNの精度は僅かであった。同時推定CNNを3ビットまで量子化し、FPGA実装した。250 MHzで動作し、480×320画素の画像に対するスループットは134 fpsであった。この回路は自立ロボットの周囲環境認識に応用できる。そして0.18umプロセスを用いて畳込み演算器を試作した。
当初目標であった意味分割と距離推定と動き推定のマルチタスクCNNは精度の問題で達成できていない。本研究期間中にLIDARの技術が発展し普及が進み、現時点では、LIDARを用いたSLAMと今回開発した意味分割CNN回路を組み合わせた周囲環境認識が実用的である。
|
