2022 Fiscal Year Research-status Report
超高精細単視点多眼映像向け高効率符号化・高認識率映像システムの構築
| Project/Area Number |
22K17913
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
片山 貴文 徳島大学, 大学院社会産業理工学研究部(理工学域), 助教 (70848522)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 動画像符号化 / 機械学習 / 単視点多眼映像符号 / Versatile Video Coding |
|---|
| Outline of Annual Research Achievements |
小型IoTデバイスには単視点多眼映像が取得可能なカメラセンサが提供されている。しかしながら、単視点多眼映像から取得される映像の圧縮技術や認識技術の方法には多くの冗長性が未だ含まれており、より効率的な手法が必要とされている。本研究では、広角カメラ映像と望遠カメラ映像の空間的相関性をScalable Video Coding (SVC)規格や機械学習を応用することで明らかにし、これまで提案された圧縮技術や認識技術の効率化を目指す。本研究を完遂することで、小型カメラをターゲットとした新規画像処理システムへの応用が期待できる。
本研究は、単視点多眼映像における動画像符号化及び認識処理を、スケーラブル符号化と機械学習を利用することで高効率かつ高認識率を実現する画像処理システムの構築を目的とする。スケーラビリティのある高効率符号化方式と機械学習を用いた共通Convolutional Neural Network（CNN）やTransformerによる画像認識手法を組み合わせることで演算コストと処理性能の最適なトレードオフを実現し、単視点多眼映像向け画像処理システムを構築する。
本年度は、超高解像度単視点多眼映像の検証と解析を中心に研究を行なった。本フェーズでは、超高解像度単視点多眼映像の符号化性能の検証とデータセットの作成を行う。符号化性能の検証はScalable Video Coding (SVC)規格をVVCに応用し、Wide-angle sequence (WS)-Telephoto sequence(TS)間の空間的相関関係を明らかにする。
研究成果としては、1,主要な機械学習アルゴリズムを提案したこと、2,単視点多眼映像のデータセットの生成の2点である。これらに関連する研究成果を研究論文としてまとめ、複数の国際会議で発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和４年度（本年度）は符号化性能の検証はSVC、MVC規格をVVCに応用し、WS-TS間の空間的相関関係を解明する予定であったが、当初の予定より実装に工数が必要になっている。近年では、VVC向けの高速並列演算用のアルゴリズムが公開されており、それを基にした、処理方法の提案が必要となっている。令和５年度の上期で当初予定していた工程まで加速させる。
|
| Strategy for Future Research Activity |
令和５年度は、スケーラビリティのある高効率符号化方式の実装が大きな課題として残されているので、その課題を中心とし、システム全体の開発に着手する。また、多眼カメラを応用した並列処理に特化した機械学習手法の提案が必要であることから、並列的に進める。最終年に向け上記２点の課題に対して重点的に取り組む。
|
| Causes of Carryover |
当初購入予定であったCTOのPCが年度末まで納期が遅延したことと、新しいGPUを搭載したPCが年度末まで、入手できないことが物品費の差額が生じた原因である。すでに令和５年度の初期に入手可能の目処が立っているので、次年度使用額の差分は大きく減少する予定である。
旅費については令和４年度の参加学会がコロナ感染症の影響により、ほとんどオンラインで開催され、対面形式での参加が困難であったことが原因である。令和５年度は対面形式の学会が増えることが予想されるので、適切に使用する予定である。
|
