A Research on Real-time Processing of High-Resolution Images with a small size FPGA

2020 Fiscal Year Annual Research Report

• Project/Area Number: 18K11209
• Research Institution: University of Tsukuba
• Principal Investigator: 丸山 勉 筑波大学, システム情報系, 教授 (00292532)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: FPGA / 画像処理 / 実時間処理

Outline of Annual Research Achievements

FPGAは、これまでに様々な画像処理において非常に高速な処理を実現しているが、そのために非常に大規模な内部メモリが必要とされている。この内部メモリ量のために、非常に大規模なFPGAが必要とされ、その可用性を損なっている。本研究では、高解像度画像の処理においても、小規模な FPGA で高精度かつ実時間処理が可能となる手法の研究を行う。
これまでに、ステレオビジョン、静止画のノイズ除去方式である N-means 方式の小規模FPGAによる高速化を実現し、評価を行い、国際会議で発表して来た。この方式は高性能ながら、計算量が多いためにソフトウェアシステムにおいてはあまり用いられていない方式である。画像スキャンの方向を工夫することにより、処理速度は最も高速な手法の1/2となるが、使用内部メモリ量を1/50程度まで圧縮することができた。
今年度は、前年度に引き続き、ステレオビジョン方式の拡張(MBM方式)の検討を行い、また、本方式の問題点である回路記述の複雑さを解消するために、高位合成による回路構成の検討を行った。本方式の最大の問題点は、画像処理においてジグザグのスキャンを行うための回路記述の複雑さである。この問題点を解決するために、通常のアルゴリズムから本手法の回路記述の自動合成を行うことを考えていたが、十分な汎用性を確保することが困難と判断したため、高位合成ツールを用い、ライブラリとして本手法を提供することを検討した。具体的には、Xilinx社製の最新の高位合成ツールである Vitis を用い、高位言語で記述された多重ループの記述から、回路の合成を行った。