• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Low-complexity research for next-generation VVC standard and its neural network extension

研究課題

研究課題/領域番号 21K17770
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関横浜国立大学 (2023)
早稲田大学 (2021-2022)

研究代表者

孫 鶴鳴  横浜国立大学, 大学院工学研究院, 准教授 (90835886)

研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワードVVC / Compression / Video coding / Video coding for machine / Transform / Filter / Intra prediction / Neural network / Low complexity
研究開始時の研究の概要

Emerging video compression standard Versatile Video Coding (VVC) can double the compression ratio than the previous standard at the cost of high coding complexity. This research will reduce the complexity of VVC, and further enhance its coding gain by exploiting light yet efficient neural networks.

研究実績の概要

This year, I mainly focused on two components in VVC. One is adaptive loop filter which is a new filter adopted in VVC. To reduce the complexity overhead of adaptive loop filter, a hardware-oriented algorithm is developed at first. In detail, filter coefficient is limited and two mapping methods are proposed. After that, the corresponding VLSI architecture is also designed, and it can realize 4K@30fps throughput. Compared with previous work, more than 41% normalized area can be saved. Besides, the proposed coefficient limitation will not influence the compression efficiency in terms of BD-rate.
The other is intra prediction which is an essential component in various VVC coding configurations. To improve the compression efficiency, several new intra coding features have been adopted in VVC. For prediction partition, QTMT is adopted while only QT was used in previous standard HEVC. For prediction mode, the number is as large as 67, while it was only 35 in HEVC. To reduce the number of partitions and modes requiring a complete rate-distortion computation process, histogram of oriented gradient information is used. As a result, compared with original VVC test model, about 69% encoding time can be saved with only 2.96% BD-rate overhead. To illustrate the universality of the proposal, the method is also implemented on VVenC and VVdeC.
Both topics are accepted by peer-reviewed international journals.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

Within this year, I published two international journals on the topics of low-complexity VVC. One is about VVC intra prediction algorithm which is published in Journal of Visual Communication and Image Representation (Impact Factor: 2.6). The other is about VVC adaptive loop filter architecture which is published in IEEE Transactions on Circuits and Systems-II (Impact Factor: 4.4).
In addition to journal papers, I have also published some international conferences on the related topics with VVC.

今後の研究の推進方策

I plan to explore several potential usages by VVC in the coming next year. One direction is to utilize LLM to help improving the coding efficiency of VVC. Another direction is to use VVC to compress neural network features rather than video.

報告書

(3件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (25件)

すべて 2023 2022 2021 その他

すべて 国際共同研究 (2件) 雑誌論文 (7件) (うち国際共著 4件、 査読あり 5件、 オープンアクセス 1件) 学会発表 (16件) (うち国際学会 16件)

  • [国際共同研究] Fudan University(中国)

    • 関連する報告書
      2023 実施状況報告書
  • [国際共同研究] Zhejiang Univerisity(中国)

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] Area-Efficient Processing Elements-Based Adaptive Loop Filter Architecture With Optimized Memory for VVC2023

    • 著者名/発表者名
      Hao Zhijian、Sun Heming、Li Sirui、Zeng Xiaoyang、Fan Yibo
    • 雑誌名

      IEEE Transactions on Circuits and Systems II: Express Briefs

      巻: 70 号: 11 ページ: 4231-4235

    • DOI

      10.1109/tcsii.2023.3280167

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] A novel fast intra algorithm for VVC based on histogram of oriented gradient2023

    • 著者名/発表者名
      Gou Aorui、Sun Heming、Liu Chao、Zeng Xiaoyang、Fan Yibo
    • 雑誌名

      Journal of Visual Communication and Image Representation

      巻: 95 ページ: 103888-103888

    • DOI

      10.1016/j.jvcir.2023.103888

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] A Highly Pipelined and Highly Parallel VLSI Architecture of CABAC Encoder for UHDTV Applications2023

    • 著者名/発表者名
      Fu Chen、Sun Heming、Zhang Zhiqiang、Zhou Jinjia
    • 雑誌名

      Sensors

      巻: 23 号: 9 ページ: 4293-4293

    • DOI

      10.3390/s23094293

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] A Reconfigurable Multiple Transform Selection Architecture for VVC2023

    • 著者名/発表者名
      Zhijian Hao, Heming Sun, Guoqing Xiang, Peng Zhang, Xiaoyang Zeng, Yibo Fan
    • 雑誌名

      IEEE Transactions on Very Large Scale Integration (VLSI) Systems

      巻: 31 号: 5 ページ: 658-669

    • DOI

      10.1109/tvlsi.2023.3245291

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] An Efficient Low-Complexity Convolutional Neural Network Filter2022

    • 著者名/発表者名
      Chao Liu, Heming Sun, Jiro Katto, Xiaoyang Zeng, Yibo Fan
    • 雑誌名

      IEEE Multimedia

      巻: 29 号: 2 ページ: 83-93

    • DOI

      10.1109/mmul.2022.3159372

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] QA-Filter: A QP-Adaptive Convolutional Neural Network Filter for Video Coding2022

    • 著者名/発表者名
      Chao Liu, Heming Sun, Jiro Katto, Xiaoyang Zeng, Yibo Fan
    • 雑誌名

      IEEE Transactions on Image Processing

      巻: 31 ページ: 3032-3045

    • DOI

      10.1109/tip.2022.3152627

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Learned Image Compression With Separate Hyperprior Decoders2021

    • 著者名/発表者名
      Zhao Zan, Chao Liu, Heming Sun, Xiaoyang Zeng, Yibo Fan
    • 雑誌名

      IEEE Open Journal of Circuits and Systems

      巻: 2 ページ: 627-632

    • DOI

      10.1109/ojcas.2021.3125354

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Fast VVC Intra Encoding for Video Coding for Machines2023

    • 著者名/発表者名
      Aorui Gou, Heming Sun, Xiaoyang Zeng, Yibo Fan
    • 学会等名
      IEEE International Symposium on Circuits and Systems (ISCAS)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Improving Latent Quantization of Learned Image Compression with Gradient Scaling2022

    • 著者名/発表者名
      Heming Sun, Lu Yu, Jiro Katto
    • 学会等名
      IEEE International Conference on Visual Communications and Image Processing (VCIP)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Semantic Segmentation In Learned Compressed Domain2022

    • 著者名/発表者名
      Jinming Liu, Heming Sun, Jiro Katto
    • 学会等名
      Picture Coding Symposium (PCS)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] F-LIC: FPGA-based Learned Image Compression with a Fine-grained Pipeline2022

    • 著者名/発表者名
      Heming Sun, Qingyang Yi, Fangzheng Lin, Lu Yu, Jiro Katto, Masahiro Fujita
    • 学会等名
      IEEE Asian Solid-State Circuits Conference (A-SSCC)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Streaming-Capable High-Performance Architecture of Learned Image Compression Codecs2022

    • 著者名/発表者名
      Fangzheng Lin, Heming Sun, Jiro Katto
    • 学会等名
      IEEE International Conference on Image Processing (ICIP)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Memory-Efficient Learned Image Compression with Pruned Hyperprior Module2022

    • 著者名/発表者名
      Ao Luo, Heming Sun, Jinming Liu, Jiro Katto
    • 学会等名
      IEEE International Conference on Image Processing (ICIP)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Improving Multiple Machine Vision Tasks in the Compressed Domain2022

    • 著者名/発表者名
      Jinming Liu, Heming Sun, Jiro Katto
    • 学会等名
      International Conference on Pattern Recognition (ICPR)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Fast Intra Mode Decision for VVC Based on Histogram of Oriented Gradient2022

    • 著者名/発表者名
      Aorui Gou, Heming Sun, Jiro Katto, Tingting Li, Xiaoyang Zeng, Yibo Fan
    • 学会等名
      IEEE International Symposium on Circuits and Systems (ISCAS)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] An Area-efficient Unified Transform Architecture for VVC2022

    • 著者名/発表者名
      Zhijian Hao, Qi Zheng, Yibo Fan, Guoqing Xiang, Peng Zhang, Heming Sun
    • 学会等名
      IEEE International Symposium on Circuits and Systems (ISCAS)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] A QP-adaptive mechanism for CNN-based filter in video coding2022

    • 著者名/発表者名
      Chao Liu, Heming Sun, Jiro Katto, Xiaoyang Zeng, Yibo Fan
    • 学会等名
      IEEE International Symposium on Circuits and Systems (ISCAS)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Learning in Compressed Domain for Faster Machine Vision Tasks2021

    • 著者名/発表者名
      Jinming Liu, Heming Sun, Jiro Katto
    • 学会等名
      IEEE International Conference on Visual Communications and Image Processing
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] A Hardware Architecture for Adaptive Loop Filter in VVC Decoder2021

    • 著者名/発表者名
      Xin Wang, Heming Sun, Jiro Katto, Yibo Fan
    • 学会等名
      IEEE International Conference on ASIC
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Fast Object Detection in HEVC Intra Compressed Domain2021

    • 著者名/発表者名
      Liuhong Chen, Heming Sun, Jiro Katto, Xiaoyang Zeng, Yibo Fan
    • 学会等名
      European Signal Processing Conference
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Learned Image Compression with Fixed-point Arithmetic2021

    • 著者名/発表者名
      Heming Sun, Lu Yu, Jiro Katto
    • 学会等名
      Picture Coding Symposium
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Accelerating Convolutional Neural Network Inference Based on a Reconfigurable Sliced Systolic Array2021

    • 著者名/発表者名
      Yixuan Zeng, Heming Sun, Jiro Katto, Yibo Fan
    • 学会等名
      IEEE International Symposium on Circuits and Systems
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Approximated Reconfigurable Transform Architecture for VVC2021

    • 著者名/発表者名
      Yixuan Zeng, Heming Sun, Jiro Katto, Yibo Fan
    • 学会等名
      IEEE International Symposium on Circuits and Systems
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi