Ultra low-latency video coding for 8K high-resolution image sensing
| Project/Area Number |
20H04181
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
松村 哲哉 日本大学, 工学部, 教授 (50713129)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
今村 幸祐 金沢大学, 電子情報通信学系, 准教授 (00324096)
金本 俊幾 弘前大学, 理工学研究科, 教授 (30782750)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥16,770,000 (Direct Cost: ¥12,900,000、Indirect Cost: ¥3,870,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2021: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
|
|---|
| Keywords | 低遅延 / 動画像 / 符号化 / 動き予測 / 直交変換 / 物体検出 / 動画像符号化 / 画像センシング / エッジデバイス / 8K |
|---|
| Outline of Research at the Start |
5G通信ネットワークの浸透により、自動運転や遠隔手術など高精細画像をセンシングし超低遅延で圧縮伝送する技術が求められている。この符号化機能はセンシングデバイスとして低遅延性を確保しつつ、小面積・低電力での高画質・高圧縮動画像符号化機能が必須となる。
本課題では4K/8K等の高精細動画像に対してセンシングバイスとして実装可能な低遅延・高圧縮・高画質・低電力を実現するラインベースの低遅延動画像符号化方式を立案検証しハードウェア実装にてシステム動作を検証する。これにより従来の標準化符号化方式と同等レベルの圧縮率を、従来の1/1000のマイクロ秒オーダーの低遅延にて実現できる。
|
| Outline of Annual Research Achievements |
令和5年度も引き続き超低遅延動画像符号化方式におけるアルゴリズム開発に注力した。ハードウェアの実装に関しては基礎検討のみを実施した。アルゴリズム開発はライン単位の符号化器をベースに、高画質化および圧縮率の改善を目的として、5つの観点から新規アルゴリズムを提案し実装し検証した。また、将来超低遅延符号化機能との連携が望まれる深層学習を用いた物体検出についても検討した。
１）1次元DCTをベースとした直行変換に加え1次元DST（離散サイン変換）を適応的に選択できるように構成し圧縮率改善を行った。
２）フレーム間動き予測手法として、画面分割型適応省メモリフレーム間予測方式を提案した。この提案は必要な圧縮に対してフレームメモリ容量を選択的に設定可能なスケーラビリティを提供している。この方式は1/2～1/32のフレームメモリ容量にて、圧縮率向上に効果があることが判明した。また、フレームメモリの削減を目的としたFMC（フレームメモリ圧縮）手法の基礎検討も実施した。加えて深層学習を用いたフレーム内/フレーム間予測について深層学習のネットワーク構造を提案し実装及び検証を行った。
３）符号化部に対して新規にコンテキスト型適応VLC（CAVLC）を適用し、従来MPEG-2ベースのVLCを用いた符号化手法に比較して圧縮率を検証した。その結果、新規CAVLC方式は圧縮率として約2％の改善が得られることを確認した。
４）可変ブロックサイズ手法を提案し実装した。符号化対象ブロックサイズ（CB）を16画素x1ライン～128画素ｘ1ラインまで画素の特徴量によって選択可能な手法を実装し、約2％の効果を確認した。
５）ライン単位の適応レート制御について実装し検証した。現時点でレート制御におけるバッファ量や制御パラメータの選択など課題があるが基本動作を確認できている。単位や粒度についての基礎検証を継続中である。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
Report
(4 results)
Research Products
(35 results)
