Ultra low-latency video coding for 8K high-resolution image sensing
| Project/Area Number |
20H04181
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
松村 哲哉 日本大学, 工学部, 教授 (50713129)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
今村 幸祐 金沢大学, 電子情報通信学系, 准教授 (00324096)
金本 俊幾 弘前大学, 理工学研究科, 教授 (30782750)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥16,770,000 (Direct Cost: ¥12,900,000、Indirect Cost: ¥3,870,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2021: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
|
|---|
| Keywords | 低遅延 / 動画像符号化 / 画像センシング / エッジデバイス / 8K / 動画像 / 符号化 / 動き予測 / 直交変換 |
|---|
| Outline of Research at the Start |
5G通信ネットワークの浸透により、自動運転や遠隔手術など高精細画像をセンシングし超低遅延で圧縮伝送する技術が求められている。この符号化機能はセンシングデバイスとして低遅延性を確保しつつ、小面積・低電力での高画質・高圧縮動画像符号化機能が必須となる。
本課題では4K/8K等の高精細動画像に対してセンシングバイスとして実装可能な低遅延・高圧縮・高画質・低電力を実現するラインベースの低遅延動画像符号化方式を立案検証しハードウェア実装にてシステム動作を検証する。これにより従来の標準化符号化方式と同等レベルの圧縮率を、従来の1/1000のマイクロ秒オーダーの低遅延にて実現できる。
|
| Outline of Annual Research Achievements |
令和4年度も引き続き超低遅延動画像符号化方式におけるアルゴリズム開発に注力した。直交変換（1次元DCT）を用いたライン単位の符号化器をベースに、圧縮率の改善を目的として、3つの観点から新規アルゴリズムを提案し実装し検証した。
１）フレーム間動き予測手法として、新規に画面分割型適応省メモリフレーム間予測方式を提案しシミュレータに実装し検証した。この提案は高精細画像を分割し、分割した各々の領域に極小メモリを割り当てる方式であり、従来の1/24のフレームメモリ容量にて、圧縮率向上に効果があることが判明した。この手法は各分割画像に割り当てた極小メモリに対してCB（CompressionBlock）の画素平均値により保存する概念を拡張し、平均値によって区分けされたメモリ領域を適応的に変化させる手法で、予測効率を向上させる手法である。今後は更なるアルゴリズム改善を継続する予定である。
２）符号化部に対して新規にコンテキスト型適応VLC（CAVLC）を適用し、従来のMPEG-2ベースのVLCを用いた符号化手法に比較して圧縮率を検証した。その結果、従来のVLC方式と比較して、提案したCAVLC方式は圧縮率として1.3～2.1％の改善が得られることを確認した。今後は符号テーブルの最適化や異なるブロックサイズへの対応を継続し更なる圧縮率の改善を検証予定である。
３）可変ブロックサイズ手法を実現するための基礎データを取得した。検証の結果、4K/8K画像においてはCBサイズが32画素もしくは64画素であることが統計的に有利であることを複数の視点からのシミュレーション検証で導いた。
４）適応レート制御について検討し、実装中である。レート制御の単位や粒度についての基礎検証を継続中である。画質を一定レベルに保ちつつ、高圧縮を実現するためには細粒度のレート制御が必要であり、詳細をシミュレーションにて検討中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和4年度に計画した直交変換（1次元DCT）を用いた超低遅延符号化方式のアルゴリズム開発に関しては、概ね順調に進んでいる。特に符号化アルゴリズムで重要な動き予測部においては、画面分割型適応省メモリ構造によるフレーム間予測手法を新たに提案し、その有用性を検証した。予測アルゴリズムにおける改善すべき点も把握できており、シミュレーションによる検証を継続的に実施する予定である。深層学習による動き予測手法に関しても一定の知見を得ることができた。加えて、符号化部において新規にコンテキスト型適応VLC（CAVLC）を適用し、従来のMPEG-2ベースのVLCを用いた符号化手法に比較して圧縮率が向上することを確認した。先行して実装した基本アルゴリズムであるダイナミック量子化をベースとした超低遅延動画像符号化アルゴリズムと併せてアルゴリズム開発は概ね順調である。今後の作業においても必要な標準動画シーケンスおよび自然画像を撮像する環境は整えている。
一方、回路実装による実機検証については、やや遅れが生じている。IP設計におけるアーキテクチャ検討は概ね計画通りに進捗しているが、IP設計（回路設計）については研究者のアルゴリズム検証の負荷が多く、現状IP設計作業に支障をきたしている。そのためFPGAを用いたIPの設計検証には至っていない状況である。今後も継続してアルゴリズムの実装及び検証に注力する必要があるため、アーキテクチャ検討後のIPの回路設計やシステム検証には更なる遅れが生じる可能性があり、設計人員の強化を図る予定である。システム実装に関しては、開発した2種のアルゴリズムの内、1次元DCTベースの超低遅延動画像符号化のアルゴリズムを実装対象として検討を進める予定である。
|
| Strategy for Future Research Activity |
提案する符号化アルゴリズムは低遅延処理を低コストで行うことを目的としているため、実際にハードウェア化し低遅延性能と実装規模を確認する必要がある。令和5年度は，これまで提案したアルゴリズムの更なる改善を行いその有用性を検証すると同時にハードウェア実装開発を並行して実施する。アルゴリズム開発においては，令和5年度は，直交変換（１次元DCT）を用いた符号化方式に対して更なる検証を実施する。画面分割型適応省メモリ構造を適用した再検証を自然画像を用いて実施し,性能の追加検証を実施する。また、符号化部においてはCAVLC方式に加え、CABAC方式を追加実装を予定していることに加えレート制御部では画像複雑度適応型細粒度レート制御に関するアルゴリズム改善を実施予定である。これらの検証により，省メモリ構造を用いた小規模回路での超低遅延動画像符号化器が実現可能であることを検証する。
ハードウェア実装に関しては，令和4年度までに策定した符号化アルゴリズムを実現するLSIアーキテクチャの検討を行い、その主要部分についてIP化設計を行う。送信側に配置するエンコーダをベースに必要な処理ブロックと制御部分における回路設計を行う。高位合成によりハードウェア化することを前提としている。高位合成の設計技術は確立済みであり、 CADソフトウェアの使用実績もある。令和5年度の後半では設計したIPをFPGA実装し実装規模と実時間動作を確認する。多数の高精細テスト動画像を入力し、どの画像に対しても十分な圧縮率が得られることを集中的に検証する。エンコーダとデコーダを統合したシステムを構築し、実際に高精細動画像の転送を行い、遅延時間を測定することで、超低遅延での高性能な符号化処理を実証する。
令和5年度はこれまでの研究成果として、符号化アルゴリズムおよび実装に関する国内学会発表および国際学会発表と論文投稿を計画している。
|
Report
(3 results)
Research Products
(19 results)
