High frame rate and ultra-Low delay video sensing system for interactive applications
| Project/Area Number |
21K11816
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60040:Computer system-related
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
池永 剛 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (90367178)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 映像認識 / 超低遅延システム / ハードウェアアーキテクチャ / 映像センシング / FA / ロボティクス / スーパーピクセル / LK法 / ハフ変換 / サブピクセル変位測定法 / 超高速超低遅延システム / FPGA / FA検査 / マンマシンI/F / 深層学習 / 映像認識システム / FPGAアーキテクチャ / 実時間画像処理 |
|---|
| Outline of Research at the Start |
本研究は、インタラクティブ応用のための次世代映像センシングのコアとなる、超高速（1000fps）、超低遅延(1～2ミリ秒)映像認識システム実現のための基盤技術創出を行うことを目的とする。具体的には、画像の特徴を用いたマッチング、追跡、分類の３つの映像認識の基本処理を対象とし、実環境下で高い精度が得られるアルゴリズムとして幅広く活用されているAKAZE (Accelerated KAZE)、KLT (Kanade-Lucas-Tomasi) Tracker、CNNなどを取り上げる。
|
| Outline of Annual Research Achievements |
インタラクティブ応用のための次世代映像センシングのコアとなる、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術創出を行うことを目的として、様々な映像センシングシステム実現の鍵となる、画像の特徴を用いたマッチング、追跡、分類等の基本処理に対し、実環境下で高い精度が得られる超高速・超低遅延向き映像認識アルゴリズム構成法とそれに基づくハードウェアアーキテクチャの実現を目指した取り組みを行なった。マッチング処理に関しては、オリジナル画像の特徴を保ったまま情報削減が可能なスーパーピクセル処理を対象とした取り組みを行った。空間上の繰り返し処理を時間方向に展開する独自の手法を提案し、FPGA上に実装した結果、ソフトウェアベースのアルゴリズムSLIC（Simple Linear Iterative Clustering)手法と同等の精度を保ったまま、0.985msで処理可能な事を実証した。一方、追跡処理に関しては、ロバストな追跡アルゴリズムとして知られるパーティクルフィルターを用いた多物体追跡を、0.929msで処理可能な技術を考案した。さらに分類処理に関しては、深層学習を用いた果物の欠陥検出を対象とした取り組みを行った。欠陥分類と欠陥位置検出を並行して行う手法を考案し、FPGA実装を行った結果、1.3%の精度低下で、0.948msで処理可能なことを確認した。さらに将来の応用を睨んだ関連技術として、深層学習に基づく人物や物体姿勢推定などに関する検討を行なった。以上の関連成果を８件の原著学術論文、および７件の国際会議にて発信した。また、関連企業との技術交流を積極的に行い、今後、これらの技術を産業につなげていく上で重要となる方向性に関して多くの知見を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
最終年度(2023年度）も、前年度までと同様に、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術実現の具体的な目標として掲げる、画像の特徴を用いたマッチング、追跡、分類の３つの基本処理に対する取り組みを行った。FAやロボティクス等の応用を想定し、その実現の鍵となる幅広い課題設定を行い、それぞれを連携させつつ並行して取り組んだ。超低遅延処理実現のために、ブレークスルーとなるストリーム型のアルゴリズム構成法を考案した。さらに、ハードウェア設計並びにFPGA上の実装を行い、実証を終えているテーマもあり、今後、産業化に向けた基盤を構築することができたと考えている。また、これらの成果を今年度は８件（３年間のと合計で１８件）の学術論文として発信することができたが、インパクトファクターの高い、Pattern Recognition (IF: 8.0)やIEEE Transactions on Instrumentation and Measurement(IF: 5.3)などの論文誌に採択されており、本取り組みが世界的に高い技術的インパクトを与えつつあると捉えている。本取り組みは、既に世界的に注目を浴びており、2023年11月にICSMD2023とIWACIII2023の２つの国際会議から招待され、基調講演を行なった。また、2024年3月に中国のトップ大学である、南京大学、東南大学、復旦大学より招待を受け、技術講演を行った。また、関連企業との技術交流により、FAやロボティクスなど実産業につながる取り組みを行った。以上の様に、研究成果面や情報発信面で、想定以上の順調な進捗が果たせていると考えている。
|
| Strategy for Future Research Activity |
３年間の取り組みを基盤として、今後は、学術面および産業面の両面からそれらの基盤技術を発展させていく予定である。学術面では、ICSMDやIWACIIIの国際会議の基調講演や各種技術講演等で、多様なインタラクティブ映像認識応用のコアとなる人間の脳を模擬した新たな概念として、人工視覚脳コンピュータ(ABC: Artificial Brain-vision Computer)の提案を行っており、特に小脳の機能を司る超低遅延(1ミリ秒)映像センシング技術の創出を目指す。このため、ルールベース処理、学習ベース処理とそれらの融合処理の３つの対象に対し、実環境下で高い精度が得られる超低遅延向き映像認識アルゴリズム構成法とそれに基づくハードウェアアーキテクチャを確立する。産業面では、FAに加えて、ロボティクス等を含めた幅広い応用展開を試みる。この３年間は、ルールーベース処理として、ハフ変換やLK法などの２次元処理を主な対象としていたが、今後は、３次元のカメラ姿勢推定や３次元の物体姿勢推定、SLAM (Simultaneous Localization And Mapping)や３次元リコンストラクション処理など、３次元に焦点を当てた検討を行う。また、学習ベース処理としては、より複雑かつ大規模な深層学習ネットワークが必須となる応用の実現を検討する。FPGAのリソース（乗算器等）は限られているため、全体の処理を、精度はそれほど必要ないが全フレーム処理が必須となる部分と高精度化がキーとなる部分に分け、前者は、FPGA上で毎フレーム処理し、後者はGPU上で初期フレームとキーフレームのみ処理するヘテロアーキテクチャ上での実現を試みる。また、各種成果を産業に結びつけるための活動も展開していく。
|
Report
(3 results)
Research Products
(49 results)
