2021 Fiscal Year Research-status Report
High frame rate and ultra-Low delay video sensing system for interactive applications
| Project/Area Number |
21K11816
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
池永 剛 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (90367178)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 映像認識 / 超高速超低遅延システム / FPGA / ハードウェアアーキテクチャ / FA検査 / マンマシンI/F / 深層学習 |
|---|
| Outline of Annual Research Achievements |
インタラクティブ応用のための次世代映像センシングのコアとなる、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術創出を行うことを目的として、様々な映像センシングシステム実現の鍵となる、画像の特徴を用いたマッチング、追跡、分類の３つの基本処理に対し、実環境下で高い精度が得られる超高速・超低遅延向き映像認識アルゴリズム構成法とそれに基づくハードウェアアーキテクチャの実現を目指した取り組みを行なった。マッチング処理に関しては、フォアグランド検出やハフ変換を用いた直線検出に関して、局所時空間伝搬やパラメーター空間を部分圧縮した独自手法などに基づく超低遅延向けのアルゴリズムとFPGA上のハードウェアアーキテクチャを考案し、デモシステムを実装した結果、784fpsの超高速、1ms以下の超低遅延で処理可能なことを実証した。追跡処理に関しては、LK法に基づく、サブピクセルレベルの追跡を可能とする手法を検討した。分類処理に関しては、両手を追跡システムや果物を対象とした欠陥検出システムに対し、いずれも深層学習を用いた高精度化つ超低遅延処理を可能とするアルゴリズムを考案し、973fpsの超高速処理が可能な事を確認した。さらに将来の応用を睨んだ関連技術として、深層学習手法に基づくHDR (High Dynamic Range Imaging）やバレーボールを対象としたボール追跡技術などに関する検討を行なった。以上の関連成果を５件の原著学術論文、および５件の国際会議にて発信した。また、関連企業との技術交流を積極的に行い、今後、これらの技術を産業につなげていく上で重要となる方向性に関して多くの知見を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
科研費の最初の年度となる本年度(2021年度）は、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術実現の具体的な目標として掲げる、画像の特徴を用いたマッチング、追跡、分類の３つの基本処理に対して、様々な課題設定を行い、それぞれ並行して取り組んだ。超低遅延処理実現のためにブレークスルーとなるアルゴリズム構成法に加え、既にデモシステムを実装し、実証を終えているテーマもあり、今後、本テーマを発展させていく上で、多くの技術や知見が得られている。また、これらの成果を５件の学術論文として発信することができたが、IEEE trans. Automation Science and Engineering、IEEE trans. Circuits and Systems for Video Technology、IET Image Processing、Multimedia Tools and Applications（２件）といずれも世界的に高い注目度の高い論文誌に採択されており、本取り組みが世界的にインパクトを与えつつあると捉えている。また、関連企業との技術交流により、FAなど実産業につながる見通しを得ている。以上の様に、研究成果面や情報発信面で順調な進捗が果たせていると考えている。
|
| Strategy for Future Research Activity |
次年度(2022年度）は、引き続き超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術実現の具体的な目標として掲げる、画像の特徴を用いたマッチング、追跡、分類の３つの基本処理の検討課題を進める。具体的には、マッチング処理としては、前年度得られた直線ハフの成果をベースに様々な物体が取り扱える一般化ハフ変換への拡張を検討する。また、輪郭処理により、より安定してコーナ特徴検出が可能なアルゴリズムを対象に検討を行う。さらにそれらの応用課題の一つとして、３次元リコンストラクション処理への検討を行う。追跡処理としては、DCTなどを用い周波数領域で追跡を行うことにより、繰り返し処理を必要としない高速かつ精度の高いサブピクセル追跡への拡張を図る。さらに、多くの応用課題に対しロバストな追跡が可能なパーティクルフィルターへの適用を検討する。分類処理としては、様々な欠陥検出応用を対象に超高速超低遅延向けの深層学習ネットワークを検討するとともに、カメラとFPGAボードを組み合わせたデモシステムを構築し、本提案の有効性を実証する。さらに、昨年度に引き続き、関連企業との技術交流を積極的に行い、将来の産業化において、鍵となる技術や応用、実用化につなげるための問題点などをクリアにする。
|
| Causes of Carryover |
2021年度は、各種調査のための国内旅費や、国際会議での発表のための国内・海外旅費を計上していたが、コロナに基づく出張制限や国際会議がオンライン開催となった事により、予定通りの予算執行ができなかった。また、世界的な半導体産業の品不足により、予算計上していたスペックのGPUマシンが入手できなかった。これらの理由により、５５万円程度の繰越金が生じた。次年度は、積極的な国際会議や学術論文誌等への投稿を通じて、成果の効果的な発信を目指す予定である。既に再録が決まっている学術論文誌にがあり（５月掲載予定）、また、査読中や投稿予定の論文もある。それらの掲載費等に支出する予定である。また、国際会議に関しても、ICME2022やECCVなどに成果を投稿し結果を待っている状況であるが、これらを含め、年度末までに戦略的に投稿する予定である。さらに、研究環境の整備のため、FPGAボードやGPUマシンなどの購入を行う。さらに、将来の成果の活用を目指し、企業や関係機関との議論の場を増やしていく予定である。
|
