2018 Fiscal Year Research-status Report

A Research on Real-time Processing of High-Resolution Images with a small size FPGA

Research Project

Project/Area Number	18K11209
Research Institution	University of Tsukuba
Principal Investigator	丸山勉筑波大学, システム情報系, 教授 (00292532)
Project Period (FY)	2018-04-01 – 2021-03-31
Keywords	FPGA / 画像処理 / 実時間処理
Outline of Annual Research Achievements	FPGAは、これまでに様々な画像処理において非常に高速な処理を実現しているが、そのために非常に大規模な内部メモリが必要とされている。これは、ステレオビジョン、オプティカルフロー、画像圧縮、ノイズ除去、画像認識等の、画像間の相互相関を多数計算する問題において特に顕著であり、必要とされるメモリ量は画像幅の二乗に比例する。この内部メモリ量のために、非常に大規模なFPGAが必要とされ、その可用性を損なっている。本研究では、高解像度画像の処理においても、小規模な FPGA で高精度かつ実時間処理が可能となる手法の研究を行う。平成30年度は、静止画のノイズ除去方式である NL-means 方式の小規模FPGAによる高速化を実現した。この方式は高性能ながら、計算量が多いためにソフトウェアシステムにおいてはあまり用いられていない方式である。画像スキャンの方向を工夫することにより、処理速度は最も高速な手法の1/2となるが、使用内部メモリ量を1/50程度まで圧縮することができた。これにより、静止画像のノイズ除去に関して、小規模FPGAで高解像度画像の実時間処理を実現することができた。この手法は、各画素に対して、既に計算された値を再度計算するために速度低下が起こるものであるが、その速度低下以上にデータ保持に必要とされる内部メモリ量を削減することができるものであり、近年のFPGAの高性能化を考えた時に、非常に有効な手法であると言える。また、MBM方式によるステレオビジョンの実装に関する検討を進め、FPGAの基本回路の設計を行った。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 平成30年度の予定は、 MBM方式によるステレオビジョンおよび静止画のノイズ除去における回路設計を行い、FPGA実機にて評価を行い、その有効性を確認し、これらに関する研究成果を国際学会で発表する予定であった。静止画のノイズ除去方式としては、NL-means 方式を用いることとし、新たな画像スキャン方式の実装手法の検討を行い、シミュレーションによりその有効性を確認し、実際にFPGA上に回路を構成し、その有効性を確認した。現在、国際会議に向けて論文を執筆中であり、まもなく投稿する予定である。 MBM方式によるステレオビジョン方式に関しては、シミュレーションによる評価およびFPGAの基本設計まで終了したが、動作確認には至っておらず、H31年度に実機での動作確認および評価を行う予定である。これら研究のためにパーソナルコンピュータと最新のFPGAボードを購入した。パーソナルコンピュータは、シミュレーションおよび回路設計に用い、購入したFPGAボードにより回路の性能評価を行なった。
Strategy for Future Research Activity	H31年度においては、まず、H30年度に作成し評価を行った静止画像のノイズ除去回路に関する論文を執筆し国際会議での採択を目指す。ついで、MBM方式に基づくステレオビジョンシステムの回路記述を完成し、30年度に購入したFPGA実機上での評価を行い、その結果をもとに論文の執筆および国際会議への投稿を目指す。この回路に関しては、既にシミュレーション評価および基本ブロックの設計終了している。これらと並行して、本手法の問題点である回路設計の複雑さを解決するために、通常の処理のアルゴリズムから、本手法のスキャン方式による回路記述を自動生成する開発環境の開発に着手する。本手法では、画像を左から右に向かってジグザグにスキャンするが、これを通常の左から右へのラインスキャンに基づいて記述されたアルゴリズムから、自動的に生成する手法の検討を行う。この研究に関しては、H32年度までに評価を行い、国際異議への投稿を目指す。