2018 Fiscal Year Research-status Report
実時間画像センシング向け超低遅延動画像符号化圧縮方式に関する研究
| Project/Area Number |
17K06444
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
松村 哲哉 日本大学, 工学部, 教授 (50713129)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
今村 幸祐 金沢大学, 電子情報通信学系, 准教授 (00324096)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 低遅延 / 動画像符号化 / 画像センシング / 予測方式 |
|---|
| Outline of Annual Research Achievements |
本研究では，ラインを基本単位とする「実時間画像センシング向け超低遅延動画像符号化方式」技術を確立する．車両やロボットの自動制御，IoT機器間の画像データ転送では，低遅延転送が最重要課題となる．本研究の符号化技術では，動画像をマイクロ秒オーダーの超低遅延で転送することを目的とする．特長は，(1)ライン単位および画素単位での画像予測，(2)ダイナミックレンジ適応型量子化およびコンテキスト適応型準固定長符号化，(3) 細粒度レート制御方式である．最終的に，アルゴリズムをFPGAへ実装して超低遅延で動画像転送を実証する．本研究は平成31年度末までに，以下の手順にて，「超低遅延動画像符号化方式」を確立しFPGAに実装することにより超低遅延での符号化処理を実証する．初めにPC上にてシミュレータを構築し符号化アルゴリズムを策定する．次にこのア
ルゴリズムを実現するハードウェア・アーキテクチャを検討し，IP化設計を行う．最後にこれをFPGAに実装し超低遅延での符号化処理を実証する．
平成30年度は前年に構築した独自のライン処理をベースとする超低遅延動画像符号化方式によるシミュレータをベースにアルゴリズムの改善による圧縮率の向上と符号化部のIP化設計を実施した．アルゴリズムの改善においては、新たに直交変換手法の適用，フレーム間予測の適用を行うことにより、前年度より画質と圧縮率の改善を図ることができた。また符号化器のIP化設計においては高位合成手法をベースに記述の最適化を図ることによって，レイテンシ及び回路規模とも目標値を満足するIP化設計を達成した。これまでの研究において，マイクロ秒オーダーでの低遅延動画像符号化を実現する方式として40dB以上の高画質を維持しつつ約1/5の圧縮率を実現できることを確認できた．この成果を平成30年度のIEICE研究会および国際学会など計4件の口頭発表を実施した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度に構築した超低遅延動画像符号化方式のシミュレータをベースに以下の点について研究を進めた．
（１）アルゴリズムシミュレータの更なる改善
平成29年度に開発したシミュレータを部分的に改善し圧縮率の向上度合いについて検証した．予測においては予測モードと評価手法の最適化を実施した．さらに実験的手法としてフレーム間予測による画質向上と圧縮率向上についても計数的に評価した．量子化手法についてはオプション機能として直交変換手法を適用し圧縮率の評価を行った．これらの種々のアルゴリズムの改善により前年度に達成した圧縮率1/3を大幅に上回る圧縮率1/5を達成することができた．
（２）符号化器のIP化設計
IP化設計においては設計手法として高位合成を用い設計期間を短縮した．シミュレータ記述をベースに符号化器のアーキテクチャ設計を実施した。このアーキテクチャに基づき符号化器を構成する各モジュールの設計を行った．各モジュール毎にＣ言語によるシミュレータ記述を高位合成向けに記述最適化を施すことによりスループットの向上と回路規模の削減を図った。その結果，符号化器のコア部のIP化設計結果として目標のスループットレート（1マイクロ秒以下）と回路規模（ロジック200KG以下，メモリ30KB)を満足した．
上記のように平成30年度の研究としては超低遅延符号化器における目標圧縮率を実現しつつ，符号化器の実時間動作の実証を目的としたアーキテクチャ設計および回路生成を実現することができ，概ね順調に進展している．
|
| Strategy for Future Research Activity |
令和元年度は本研究の最終年度であり、最終目的である超低遅延動画像符号化方式のFPGAによる実装検証を実施する．IP化設計した符号化器をFPGA上にマッピングし，多数の高精細テスト動画像を入力し，どのような画像に対しても十分な圧縮率が得られることを集中的に検証する．高精細画像はFull-HDサイズおよび4Kサイズの画像を用いる．この検証において特定の画像シーケンスに対して大幅に画質が劣化する部分や圧縮率が低くなる部分があれば符号化アルゴリズムにフィードバックし，アルゴリズムの改善からハードウェアの再設計を実施する．ただし，高位合成を用いた設計環境を実現しているためアルゴリズム改善によるハードウェア実装のTATは少ない期間で対応可能出来る．さらにFPGAを用いて符号化器と復号器を統合した画像伝送システムを構築する．実際に高精細動画像の伝送実験を行い，符号化器の画像入力から復号器の画像出力の遅延時間を測定することで低遅延での符号化処理を実証する．これらの成果は令和元年度の国内学会もしくは国際学会等で発表すると同時に論文投稿を予定している．
|
| Causes of Carryover |
平成30年度の研究では，前年に構築した独自のライン処理をベースとする超低遅延動画像符号化方式によるシミュレータをベースにアルゴリズムの改善による圧縮率の向上と符号化部のIP化設計を実施した．このIP化設計に必要な高位合成ツールは予定通りライセンス購入した。しかし令和元年度に国際学会発表を予定していたが，符号化方式に関する内容で国際学会に採択されたため，IP化設計のためのサーバ機購入を令和元年度に延期した．このため令和元年度の予算では，サーバ機の購入および旅費および論文印刷費を予定している．
|
Research Products
(4 results)
