Ultra low-latency video coding for 8K high-resolution image sensing
| Project/Area Number |
20H04181
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
松村 哲哉 日本大学, 工学部, 教授 (50713129)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
今村 幸祐 金沢大学, 電子情報通信学系, 准教授 (00324096)
金本 俊幾 弘前大学, 理工学研究科, 教授 (30782750)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2021)
|
| Budget Amount *help |
¥16,770,000 (Direct Cost: ¥12,900,000、Indirect Cost: ¥3,870,000)
Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2021: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
|
|---|
| Keywords | 低遅延 / 動画像符号化 / 8K / 画像センシング / エッジデバイス |
|---|
| Outline of Research at the Start |
5G通信ネットワークの浸透により、自動運転や遠隔手術など高精細画像をセンシングし超低遅延で圧縮伝送する技術が求められている。この符号化機能はセンシングデバイスとして低遅延性を確保しつつ、小面積・低電力での高画質・高圧縮動画像符号化機能が必須となる。
本課題では4K/8K等の高精細動画像に対してセンシングバイスとして実装可能な低遅延・高圧縮・高画質・低電力を実現するラインベースの低遅延動画像符号化方式を立案検証しハードウェア実装にてシステム動作を検証する。これにより従来の標準化符号化方式と同等レベルの圧縮率を、従来の1/1000のマイクロ秒オーダーの低遅延にて実現できる。
|
| Outline of Annual Research Achievements |
本課題研究では，4K/8Kの高精細画像に対して低遅延性を維持しつつ，従来の符号化方式と比較してほぼ同レベルの高圧縮率を高画質で実現する符号化アルゴリズムを策定し，最終的には超低遅延動画像符号化システムのハードウェア実装検証を行う．
令和2年度は超低遅延符号化アルゴリズムにおいて適応的可変ブロックサイズ方式と動き予測部における小メモリフレーム間予測方式について，新規に実装しシミュレーションにてその効果を検証した．適応的可変ブロックサイズ方式では，基本処理単位を画像の特性によって16画素~128画素の間で適応的に選択する手法で検証により一定の効果を確認できた．またフレームメモリを最小化する新規手法については，予測画像をその画像特性によってフレームメモリの細分化された対象カテゴリーに選択的に振り分け格納するという手法を提案し実装した．シミュレーションによる検証では従来と比較して大幅に少ないメモリ容量（1/64以下）で同等の圧縮率を実現できることが分かった．
また，最終的な目標であるハードウェア実装についても機能の一部を先行的に設計することにより実装規模や処理速度について調査した．具体的には上記適用的可変ブロックサイズ方式を適用した動き予測部分に対して，高位設定を適用し実装規模と処理速度を求めた．予測における探索範囲などを最適化し画質や圧縮率を維持しつつ回路規模を削減することができた．さらにこの結果を踏まえ，8Kクラスの高精細画像センシング対応の超低遅延動画像符号化機能を中規模のFPGAを十数個の並列構成で実時間処理システムについて考察した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和2年度における超低遅延動画像符号化のアルゴリズム策定については，従来のアルゴリズムを改善し，4K/8Kに対応した基本シミュレータを構築した．その上で，主に適応的可変ブロックサイズ方式と動き予測部における小メモリフレーム間予測方式について，新規に実装しシミュレーションにてその効果を検証した．基本シミュレータの整備ができたため，今後はこのシミュレータをベースに新規のアルゴリズム開発を行う．今後の動き予測方式として実装を予定している最適コードブックを用いたスパースコーディング，AI学習による辞書画像作成については，分担研究者を中心に事前検討を進めている．さらに量子化部でにおけるDCT方式をベースとする可変サイズの1次元直交変換および量子化手法についても先行してアルゴリズム検討を実施している．また，符号化アルゴリズムの策定に用いる動画像については，画像シーケンスを中心に使用しているが，加えて様々な研究対象画像を準備する研究環境を構築した．今後は，8K画像の撮像機器を用いて必要な被写体の8K高精細画像を入手できる環境を構築したため，様々な画像に対してのアルゴリズム検証が可能となる．
研究分担者との連携においては，コロナ禍で打合せ等は十分に行えない部分もあったが概ね問題なく協力できている．
|
| Strategy for Future Research Activity |
令和2年度は超低遅延動画像符号化アルゴリズムの策定を中心に課題研究を実施した．令和3年度も引き続きアルゴリズムの策定を実施するとともに，将来のハードウェア設計を念頭に各機能のIP化設計を推進する．アルゴリズムの策定においては令和2年度に検討したフレームメモリを最小化する新規手法（予測画像をその画像特性によってフレームメモリの細分化された対象カテゴリーに選択的に振り分け格納するという手法）を適用した．令和3年度はこの結果を踏まえ，新たに最適コードブックを用いたスパースコーディング，AI学習による辞書画像作成，局所復号画像の選別記憶等の観点で符号化アルゴリズムを開発する．さらに量子化部ではDCT方式をベースとする可変サイズの1次元直交変換と量子化手法を組合せ，エントロピー符号化部はコンテキスト対応準固定長符号化に加えて「テーブル可変型ハフマン符号化」を構築する．レート制御部では新たに画像複雑度適応型細粒度レート制御を適用する．
各機能のIP化設計においては上記検証により最適化された符号化アルゴリズムをIP化設計し実用的な回路規模で実現できるかどうかを検証する．さらに，8Kクラスの高精細画像センシング対応の超低遅延動画像符号化機能のシステム設計についての検討を各機能のIP化設計と並行して検討する．
|
Report
(1 results)
Research Products
(3 results)
