超高精細単視点多眼映像向け高効率符号化・高認識率映像システムの構築
| Project/Area Number |
22K17913
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
片山 貴文 徳島大学, 大学院社会産業理工学研究部(理工学域), 助教 (70848522)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 動画像符号化 / 機械学習 / 単視点多眼映像符号 / Versatile Video Coding |
|---|
| Outline of Research at the Start |
小型IoTデバイスには単視点多眼映像が取得可能なカメラセンサが提供されている。しかしながら、単視点多眼映像から取得される映像の圧縮技術や認識技術の方法には多くの冗長性が未だ含まれており、より効率的な手法が必要とされている。本研究では、広角カメラ映像と望遠カメラ映像の空間的相関性をScalable Video Coding (SVC)規格や機械学習を応用することで明らかにし、これまで提案された圧縮技術や認識技術の効率化を目指す。本研究を完遂することで、小型カメラをターゲットとした新規画像処理システムへの応用が期待できる。
|
| Outline of Annual Research Achievements |
小型IoTデバイスには単視点多眼映像が取得可能なカメラセンサが提供されている。しかしながら、単視点多眼映像から取得される映像の圧縮技術や認識技術の方法には多くの冗長性が未だ含まれており、より効率的な手法が必要とされている。本研究では、広角カメラ映像と望遠カメラ映像の空間的相関性をScalable Video Coding (SVC)規格や機械学習を応用することで明らかにし、これまで提案された圧縮技術や認識技術の効率化を目指す。本研究を完遂することで、小型カメラをターゲットとした新規画像処理システムへの応用が期待できる。
本研究は、単視点多眼映像における動画像符号化及び認識処理を、スケーラブル符号化と機械学習を利用することで高効率かつ高認識率を実現する画像処理システムの構築を目的とする。スケーラビリティのある高効率符号化方式と機械学習を用いた共通Convolutional Neural Network（CNN）やTransformerによる画像認識手法を組み合わせることで演算コストと処理性能の最適なトレードオフを実現し、単視点多眼映像向け画像処理システムを構築する。
本年度は、超高解像度単視点多眼映像の検証と解析を中心に研究を行なった。本フェーズでは、超高解像度単視点多眼映像の符号化性能の検証とデータセットの作成を行う。符号化性能の検証はScalable Video Coding (SVC)規格をVVCに応用し、Wide-angle sequence (WS)-Telephoto sequence(TS)間の空間的相関関係を明らかにする。
研究成果としては、1,主要な機械学習アルゴリズムを提案したこと、2,単視点多眼映像のデータセットの生成の2点である。これらに関連する研究成果を研究論文としてまとめ、複数の国際会議で発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和４年度（本年度）は符号化性能の検証はSVC、MVC規格をVVCに応用し、WS-TS間の空間的相関関係を解明する予定であったが、当初の予定より実装に工数が必要になっている。近年では、VVC向けの高速並列演算用のアルゴリズムが公開されており、それを基にした、処理方法の提案が必要となっている。令和５年度の上期で当初予定していた工程まで加速させる。
|
| Strategy for Future Research Activity |
令和５年度は、スケーラビリティのある高効率符号化方式の実装が大きな課題として残されているので、その課題を中心とし、システム全体の開発に着手する。また、多眼カメラを応用した並列処理に特化した機械学習手法の提案が必要であることから、並列的に進める。最終年に向け上記２点の課題に対して重点的に取り組む。
|
Report
(1 results)
Research Products
(11 results)
