2022 Fiscal Year Research-status Report
High frame rate and ultra-Low delay video sensing system for interactive applications
| Project/Area Number |
21K11816
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
池永 剛 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (90367178)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 映像認識 / 超低遅延システム / ハードウェアアーキテクチャ / ハフ変換 / LK法 / サブピクセル変位測定法 / 映像センシング |
|---|
| Outline of Annual Research Achievements |
インタラクティブ応用のための次世代映像センシングのコアとなる、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術創出を行うことを目的として、様々な映像センシングシステム実現の鍵となる、画像の特徴を用いたマッチング、追跡、分類等の基本処理に対し、実環境下で高い精度が得られる超高速・超低遅延向き映像認識アルゴリズム構成法とそれに基づくハードウェアアーキテクチャの実現を目指した取り組みを行なった。マッチング処理に関しては、周波数領域でのサブピクセルマッチングを可能とする独自のDCT手法として、特徴融合ベースの方向符号のみの相関やフィッティングのないサブピクセル変位測定法などを提案し、FPGA上に実装する事により、0.75msで処理可能な事を実証した。また、適応的なアドレス選択や投票値を遅延なく初期化する手法などの独自提案により、直線検出を可能とするハフ変換を0.77msで処理可能な事を実証した。一方、追跡処理に関しては、LK (Lucas Kanade) 法の繰り返し処理を時間方向に展開する事により、1000fpsで、サブピクセルレベルの追跡を可能とする手法を実証した。さらに分類処理に関しては、深層学習を用いた果物を対象とした欠陥検出を高精度化つ超低遅延処理を可能とするアルゴリズムを検討し、1ms実装の見通しを得た。さらに将来の応用を睨んだ関連技術として、深層学習に基づく人物姿勢推定などに関する検討を行なった。以上の関連成果を５件の原著学術論文、および９件の国際会議（その内３件は、Best Presentation Awardを受賞）にて発信した。また、関連企業との技術交流を積極的に行い、今後、これらの技術を産業につなげていく上で重要となる方向性に関して多くの知見を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度(2022年度）は、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術実現の具体的な目標として掲げる、画像の特徴を用いたマッチング、追跡、分類の３つの基本処理に対して、FAやロボティクス等の応用を想定し、幅広い課題設定を行い、それぞれが連携しつつ並行して取り組んだ。超低遅延処理実現のためにブレークスルーとなるアルゴリズム・アーキテクチャ構成法に加え、ハードウェア設計並びにFPGA上の実装・評価を行なった。既に、実証を終えているテーマもあり、今後、本プロジェクトの最終目標を達成するための、多くの技術や知見が得られている。また、これらの成果を今年度は５件（2021年度との合計で１０件）の学術論文として発信することができたが、特に直線検出を可能とするハフ変換処理や、サブピクセル変位測定法に関しては、インパクトファクターの高い、IEEE trans. Industrial Informatics (IF: 11.6) やIEEE Transactions on Instrumentation and Measurement (IF: 5.3) などの論文誌に採択されており、本取り組みが世界的に高い技術的インパクトを与えつつあると捉えている。さらに、採択された９件の査読付き国際会議では、３件のBest Presentation Awardを受賞しており、会議内でも注目を浴びた。また、関連企業との技術交流により、FAやロボティクスなど実産業につながる見通しを得つつある。以上の様に、研究成果面や情報発信面で、想定以上の順調な進捗が果たせていると考えている。
|
| Strategy for Future Research Activity |
最終年度(2023年度）は、引き続き超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術実現の具体的な目標として掲げる、画像の特徴を用いたマッチング、追跡、分類の３つの基本処理の種々の課題の検討を引き続き進める。具体的には、マッチング処理としては、様々な物体が取り扱える一般化ハフ変換への拡張を検討する。また、輪郭処理により、より安定してコーナ特徴検出が可能なアルゴリズムや、上位レベルでのマッチングが可能なスーパーピクセル処理などを対象に検討を行う。さらにそれらの応用課題の例として、SLAM (Simultaneous Localization And Mapping)や３次元リコンストラクション処理への検討を行う。追跡処理としては、多くの応用における種々な対象物体に対しロバストな追跡が可能なパーティクルフィルターへの適用を検討する。分類処理としては、頭部や任意物体の６DoF (Depth of Freedom) 検出および追跡処理を対象に、超高速超低遅延向けの深層学習ネットワークを検討するとともに、カメラとFPGAボードを組み合わせたデモシステムを構築し、本提案の有効性を実証する。さらに、３年間の集大成として、個々の取り組みをアルゴリズムやアーキテクチャ構成法という形でまとめ、技術体系化する。さらに、昨年度に引き続き、関連企業との技術交流を積極的に行い、将来の産業化において、鍵となる技術や応用、実用化につなげるための問題点などをクリアにする。
|
| Causes of Carryover |
2022年度は、国際会議での発表のための国内・海外旅費を計上し、多くの国際会議に投稿したが、コロナにより、採択された９件の全ての国際会議がオンライン開催となった事により、予定通りの出張予算執行ができなかった。また、世界的な半導体産業の品不足により、予算計上していたスペックのGPUマシンが入手できなかった。これらの理由により、８３万円程度の繰越金が生じた。次年度は、積極的な国際会議や学術論文誌等への投稿を通じて、成果の効果的な発信を目指す予定である。既に再録が決まっている学術論文誌や国際会議(ICASSPなど）があり、また、査読中や投稿予定の論文もある。それらの掲載費等に支出する予定である。また、国際会議に関しても、ICIP2023やICCV2023などの当該世界トップの国際会議に成果を投稿し結果を待っている状況であるが、これらを含め、年度末までに戦略的に投稿する予定である。さらに、研究環境の整備のため、FPGAボードやGPUマシンなどの購入を行う。さらに、将来の成果の活用を目指し、企業や関係機関との議論の場を増やしていく予定である。
|
