• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Ultra low-latency video coding for 8K high-resolution image sensing

Research Project

Project/Area Number 20H04181
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 60060:Information network-related
Research InstitutionNihon University

Principal Investigator

MATSUMURA Tetsuya  日本大学, 工学部, 教授 (50713129)

Co-Investigator(Kenkyū-buntansha) 今村 幸祐  金沢大学, 電子情報通信学系, 准教授 (00324096)
金本 俊幾  弘前大学, 理工学研究科, 教授 (30782750)
Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥16,770,000 (Direct Cost: ¥12,900,000、Indirect Cost: ¥3,870,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2021: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Keywords低遅延 / 動画像符号化 / 動き予測 / 直交変換 / CAVLC / 動画像 / 符号化 / 物体検出 / 画像センシング / エッジデバイス / 8K
Outline of Research at the Start

5G通信ネットワークの浸透により、自動運転や遠隔手術など高精細画像をセンシングし超低遅延で圧縮伝送する技術が求められている。この符号化機能はセンシングデバイスとして低遅延性を確保しつつ、小面積・低電力での高画質・高圧縮動画像符号化機能が必須となる。
本課題では4K/8K等の高精細動画像に対してセンシングバイスとして実装可能な低遅延・高圧縮・高画質・低電力を実現するラインベースの低遅延動画像符号化方式を立案検証しハードウェア実装にてシステム動作を検証する。これにより従来の標準化符号化方式と同等レベルの圧縮率を、従来の1/1000のマイクロ秒オーダーの低遅延にて実現できる。

Outline of Final Research Achievements

We proposed a line-based coding method for ultra-low latency video coding for 4K/8K-level high-definition images, and verified its effectiveness through implementation. We have implemented and verified several coding tools such as reduced frame memory structure for inter-prediction method, deep learning based inter-prediction method, DCT/DST mixed orthogonal transform method, line-based CAVLC, variable block size selection method, etc., as new methods. As a result, we achieved an overall compression ratio of 5% to 10% with a low latency on the order of 1/1000 of a microsecond. This research has provided knowledge on how to achieve the functions and low cost required for edge devices in low-latency image transmission equipment.

Academic Significance and Societal Importance of the Research Achievements

4K/8Kレベルの高精細画像向けの超低遅延動画像符号化方式において,ラインベースの符号化手法を実装し検証した.この超低遅延動画像符号化方式は5%~10%の圧縮率を,従来の1/1000のマイクロ秒オーダーの低遅延を実現可能である.またハードウェアに実装する場合も小フレームメモリ構造を可能とするなど低コストで高精細画像伝送機器を実現できる見通しを得た.低遅延性が要求される応用製品は今後拡大すると想定され,この非標準の高精細画像向けの超低遅延動画像符号化方式に関する知見は有用であり,基盤技術として自動運転,自律型ロボット,医療機器,ゲームなどのIoTの進展に大きく貢献すると考えられる.

Report

(5 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (35 results)

All 2024 2023 2022 2021

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (34 results) (of which Int'l Joint Research: 4 results)

  • [Journal Article] [Paper] Deep Learning based Hierarchical Object Detection System Adopting a Depth Correction Scheme for High-Resolution Aerial Images Towards Realization of Autonomous UAV Flight2024

    • Author(s)
      Yusei Horikawa, Renpei Yoshida, Seiji Mochizuki, Tetsuya Matsumura
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 12 Issue: 1 Pages: 85-92

    • DOI

      10.3169/mta.12.85

    • ISSN
      2186-7364
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Presentation] 空撮画像における小型物体検出性能の改善2024

    • Author(s)
      堀川 雄生, 松村 哲哉
    • Organizer
      電子情報通信学会 総合大会(広島)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 超低遅延動画像符号化方式におけるConvLSTM1Dを用いたイントラ予測2024

    • Author(s)
      山口真衣, 栗原春香, 松村哲哉
    • Organizer
      映像表現・芸術科学フォーラム2024
    • Related Report
      2023 Annual Research Report
  • [Presentation] 超低遅延動画像符号化方式における可変ブロックサイズ適用による符号化効率の改善2024

    • Author(s)
      山川真依, 山口真衣, 加藤剛士, 桑原悠, 松村哲哉
    • Organizer
      令和5年度 第7回情報処理学会東北支部研究会(弘前大学)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 超低遅延動画像符号化方式におけるメモリ容量を選択可能なフレームメモリ圧縮を用いたインター予測2024

    • Author(s)
      山口真衣, 松村哲哉
    • Organizer
      電子情報通信学会画像工学(IE)研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] YOLO及びSemantic Segmentationによる農作物検査ラインにおけ る異常検知2024

    • Author(s)
      北澤慶悟, 堀川雄生, 吉田錬平, 松村哲哉
    • Organizer
      令和 6 年東北地区若手研究者研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] YOLO及びGANによる農作物検査ラインにおける異常検知手法2024

    • Author(s)
      丸森玲旺, 堀川雄生, 吉田錬平, 松村哲哉
    • Organizer
      令和 6 年東北地区若手研究者研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 階層型物体検出手法における再構成画像の生成及び再推論に関する検討2024

    • Author(s)
      杉内凌河, 堀川雄生, 吉田錬平, 松村哲哉
    • Organizer
      令和 6 年東北地区若手研究者研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 高精細空撮画像におけるクラスタの特定及び推論に関する検討2024

    • Author(s)
      佐々木大那, 堀川雄生, 吉田錬平, 松村哲哉
    • Organizer
      令和 6 年東北地区若手研究者研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Clustering Re-Inference Algorithm for Deep Learning-Based Hierarchical Object Detection System2023

    • Author(s)
      Yusei Horikawa; Renpei Yoshida; Seiji Mochizuki; Tetsuya Matsumura
    • Organizer
      2023 IEEE 12th Global Conference on Consumer Electronics (GCCE)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] CGTI-Net: Deep-Learning-Based Object Detection Network for High-Resolution Aerial Images2023

    • Author(s)
      Yusei Horikawa; Seiji Mochizuki; Kousuke Imamura; Tetsuya Matsumura
    • Organizer
      2023 IEEE International Conference on Internet of Things and Intelligence Systems (IoTaIS)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Ultra-Low-Latency Video Coding with Reduced Frame Memory Structure for 4K/8K High-Resolution Video2023

    • Author(s)
      Mai Yamaguchi; Mai Yamakawa; Seiji Mochizuki; Kousuke Imamura; Toshiki Kanamoto; Tetsuya Matsumura
    • Organizer
      2023 IEEE 12th Global Conference on Consumer Electronics (GCCE)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 深層学習を用いた階層型物体検出手法における近傍探索型領域抽出アルゴリズム2023

    • Author(s)
      吉田錬平, 杉内凌河, 堀川雄生, 松村哲哉
    • Organizer
      2023電気関連学会関西支部連合大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] UAV自律飛行に向けたクラスタ推論によるCoarse-to-Fine Netの提案2023

    • Author(s)
      堀川雄生, 松村哲哉
    • Organizer
      2023電気関連学会東北支部連合大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 省フレームメモリ構造とラインベースCAVLC を用いた4K/8K 高精細画像向け超低遅延動画像符号化方式2023

    • Author(s)
      山口真衣, 山川真依, 望月誠二, 西川尚, 今村幸祐, 松村哲哉
    • Organizer
      電子情報通信学会画像工学(IE)研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 超低遅延動画像符号化における Depthwise Separable Convolution を用いたフレーム間予測2023

    • Author(s)
      西川尚, 今村幸祐, 松村哲哉, 山口真衣
    • Organizer
      令和5年度電子情報通信学会ソサイエティ大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 超低遅延動画像符号化方式における画面分割型省メモリフレーム間予測手法2023

    • Author(s)
      山口真衣,松村哲哉
    • Organizer
      映像情報メディア学会,メディア工学研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] UAV自律飛行に向けたクラスタリングアルゴリズムによる階層型極小物体検出手法2023

    • Author(s)
      堀川雄生,菅谷 真,松村 哲哉
    • Organizer
      映像情報メディア学会,メディア工学研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 超高精細画像センシング向け階層型物体検出手法の検討2023

    • Author(s)
      菅谷 真,堀川雄生,吉田 錬平,松村 哲哉
    • Organizer
      電子情報通信学会,画像工学研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] オンチップデカップル容量の最適化と評価方法の提案2023

    • Author(s)
      石田大和,宗形恒夫,松村哲哉,金本俊幾
    • Organizer
      令和4年度第7回情報処理学会東北支部研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Implementation of Deep Learning-based Hierarchical Object Detection System for High-Resolution Images2022

    • Author(s)
      M. Sugaya, Y. Horikawa, K. Mashiko, T. Minagawa, T. Matsumura,
    • Organizer
      IEEE GCCE 2022 (Osaka, Japan)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 深層学習を用いた高精細画像向け階層型物体検出システム2022

    • Author(s)
      堀川雄生,菅谷 真,吉田 錬平,増子 和磨,松村 哲哉
    • Organizer
      電子情報通信学会,ICD研究会(デザインガイヤ2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 超低遅延動画像符号化方式における深層学習を用いたフレーム内予測2022

    • Author(s)
      西川尚,今村幸祐,松村哲哉
    • Organizer
      2022年度電気・情報関係学会北陸支部連合大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 高精細動画像向け深層学習を用いた物体検出システムの実装2022

    • Author(s)
      増子和磨,菅谷真,堀川雄生,松村哲哉
    • Organizer
      令和3年度第6回情報処理学会東北支部研究会 4-1
    • Related Report
      2021 Annual Research Report
  • [Presentation] 超低遅延動画像符号化方式の画面間予測における省メモリ構成の最適化検討2022

    • Author(s)
      池野将誉,今村幸祐,望月誠二,松村哲哉
    • Organizer
      令和3年度第7回情報処理学会東北支部研究会 2-5
    • Related Report
      2021 Annual Research Report
  • [Presentation] 深層学習を用いた領域分割処理による高精細動画像向け物体検出手法の検討2022

    • Author(s)
      堀川雄生,増子和磨,松村哲哉
    • Organizer
      令和3年度東北地区若手研究者研究発表会 YS-20-E12
    • Related Report
      2021 Annual Research Report
  • [Presentation] 超低遅延動画像符号化方式の画面間予測ににおける省メモリ構成の最適化検討2022

    • Author(s)
      山口真衣,池野将誉,松村哲哉
    • Organizer
      令和3年度東北地区若手研究者研究発表会 YS-20-E12
    • Related Report
      2021 Annual Research Report
  • [Presentation] オンチップインピーダンスのモデリング2022

    • Author(s)
      佐野文也,金本俊幾
    • Organizer
      令和3年度第6回情報処理学会東北支部研究報告 5-4
    • Related Report
      2021 Annual Research Report
  • [Presentation] 動的領域拡大手法を用いた高精細動画像における物体の高速検出2021

    • Author(s)
      増子和磨,松村哲哉
    • Organizer
      第64回日本大学工学部学術研究発表会 情5-3
    • Related Report
      2021 Annual Research Report
  • [Presentation] 超低遅延動画像符号化における可変ブロックサイズ決定手法の検証2021

    • Author(s)
      加藤剛士,松村哲哉
    • Organizer
      第64回日本大学工学部学術研究発表会 情5-4
    • Related Report
      2021 Annual Research Report
  • [Presentation] 1次元DCTを用いた超低遅延動画像符号化方式の省メモリ化検討2021

    • Author(s)
      池野将誉,松村哲哉
    • Organizer
      第64回日本大学工学部学術研究発表会 情5-5
    • Related Report
      2021 Annual Research Report
  • [Presentation] 超低遅延ライン圧縮におけるフレーム間ライン予測の検討2021

    • Author(s)
      勝見優介,杉本青士,今村幸祐,松村哲哉
    • Organizer
      2021年度電気・情報関係学会北陸支部連合大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 超低遅延動画像符号化方式における省メモリフレーム間予測2021

    • Author(s)
      池野将誉,森卓摩,深谷洸輔,松村哲哉
    • Organizer
      令和3年度東北地区若手研究者研究発表会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 高精細画像センシング向け超低遅延動画像符号化システムの一検討2021

    • Author(s)
      深谷洸輔,今村幸祐,望月誠二,松村哲哉
    • Organizer
      令和2年度情報処理学会東北支部研究会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 超低遅延動画像符号化方式におけるフレーム間予測の省メモリ実装に関する一検討2021

    • Author(s)
      池野将誉,今村幸祐,望月誠二,松村哲哉
    • Organizer
      令和2年度情報処理学会東北支部研究会
    • Related Report
      2020 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi