| 研究課題/領域番号 |
20H04181
|
|---|
| 研究機関 | 日本大学 |
|---|
研究代表者 |
松村 哲哉 日本大学, 工学部, 教授 (50713129)
|
|---|
| 研究分担者 |
今村 幸祐 金沢大学, 電子情報通信学系, 准教授 (00324096)
金本 俊幾 弘前大学, 理工学研究科, 教授 (30782750)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| キーワード | 低遅延 / 動画像 / 符号化 / 動き予測 / 直交変換 |
|---|
| 研究実績の概要 |
令和3年度は超低遅延動画像符号化方式におけるアルゴリズム開発に注力した。圧縮率の改善を目的として，従来の250分の1のクラスの極めて小規模なフレームメモリを用いたフレーム間動き予測方式について検証した。フレームメモリ容量を大幅に削減可能な省メモリ構造として，1次元配列型構造と2次元配列型構造の２種のメモリマッピング構造を提案した．2次元配列型構造は1次元型配列型構造の問題点である予測画像候補の類似度を低減するとともに予測候補選択時のマッチング回数を削減することで符号化における演算処理時間の改善を図った．また，各メモリ構造におけるマッピング方法を変更することで圧縮率及び画質に与える影響を調査した．1次元配列型構造は，各CBの輝度の平均値でカテゴリ分類を行う．また，2次元配列型構造は，各の輝度の平均値と標準偏差値を用いて2次元のマトリクスにカテゴリ分類する．
フレームメモリ構造として2次元配列型における平均値4分割，8分割，16分割と標準偏差値2分割の組み合わせを１次元配列型における圧縮率と画質（PSNR）を求め比較検証した．平均値４分割においては1次元配列型の圧縮率（CR）が勝るが，平均値8分割，16分割においては2次元配列型の圧縮率が勝ることが判明した．また，2次元配列型においてメモリ構成の両軸の分割数が増加するほど圧縮率が劣化した．これは分割数が増加することで1カテゴリに保存可能な予測画像候補数が減少し，フレーム間予測の選択率が減少したことが原因であると考えられる．これらの検証により、1次元配列型および2次元配列型の双方の分割構造において圧縮率、画質に対する寄与度の定量的な傾向を確認することができた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
超低遅延符号化方式のアルゴリズム開発に関しては、部分的な遅延はあるものの概ね順調に進んでいる。特に符号化アルゴリズムで重要な動き予測部においては、省メモリ構造によるフレーム間予測手法を提案し、その有用性を検証した。改善すべき点も把握できており、シミュレーションによる検証を継続行う予定である。また、このアルゴリズム開発に必要な標準動画シーケンスおよび自然画像を撮像する環境は整えている。基本アルゴリズムであるダイナミック量子化をベースとした超低遅延動画像符号化アルゴリズムに対しては、直交変換（1次元DCT）をベースとした超低遅延符号化アルゴリズムを立ち上げ、基本動作の検証を終えている。即ち超低遅延動画像符号化アルゴリズムとして2種類のシミュレータを立ち上げ検証環境を整えた。１次元DCTベースの符号化アルゴリズムに対しての省メモリ構造のフレーム間動き予測アルゴリズムの適用は現在実施中である。また、符号化の基本単位となるコンプレッションブロック（CB）のサイズを適応的に変更する可変ブロックアルゴリズムについては双方の方式に対して有効性を確認できた。ただし、動き予測部以外の符号化部およびレート制御部については、新規提案アルゴリズムの実装段階から進捗しておらず、検証作業が遅れている状況である。継続してアルゴリズムの実装及び検証に注力する予定である。
ハードウェア実装に関しては、現時点では実装環境(FPGA)の整備とアーキテクチャ検討を実施している。今後は1次元DCTベースの超低遅延動画像符号化のアルゴリズムをベースにアーキテクチャ設計を行い、IP化設計に着手する予定である。
|
| 今後の研究の推進方策 |
提案する符号化アルゴリズムは低遅延処理を低コストで行うことを目的としているため、実際にハードウェア化し低遅延性能と実装規模を確認する必要がある。令和４年度は，これまで提案したアルゴリズムの改善を行いその有用性を検証するとともにハードウェア実装開発を並行して実施する。
アルゴリズム開発においては，令和４年度は，符号化器のベースとなるダイナミック適応量子化を用いた符号化方式に対して省メモリ構造を適用した場合を検証を実施しているが，並行して直交変換（１次元DCT）を用いた符号化方式に対しても同様に省メモリ構造を適用した再検証を自然画像を用いて実施し,性能の検証を実施する。また，符号化部においてはテーブル可変型符号化方式，レート制御部では画像複雑度適応型細粒度レート制御に関するアルゴリズム改善を実施予定である。これらの検証により，省メモリ構造を用いた小規模回路での超低遅延動画像符号化器が実現可能であることを検証する。
ハードウェア実装に関しては，令和３年度までに策定した符号化アルゴリズムを実現するLSIアーキテクチャを検討し、その主要部分についてIP化設計を行う。送信側に配置するエンコーダをベースに必要な処理ブロックと制御部分における回路設計を行う。高位合成によりハードウェア化することを前提とし、高域術言語を用いてアルゴリズム記述を変更する。高位合成の設計技術は確立済みであり、 CADソフトウェアの使用実績もある。令和４から５年度にかけて，設計したIPをFPGA実装し実装規模と実時間動作を確認する。多数の高精細テスト動画像を入力し、どの画像に対しても十分な圧縮率が得られることを集中的に検証する。エンコーダとデコーダを統合したシステムを構築し、実際に高精細動画像の転送を行い、遅延時間を測定することで、超低遅延での高性能な符号化処理を実証する。
|
