• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2012 Fiscal Year Annual Research Report

スーパハイビジョン用エンコーダLSIの研究

Research Project

Project/Area Number 24246064
Research Category

Grant-in-Aid for Scientific Research (A)

Research InstitutionWaseda University

Principal Investigator

後藤 敏  早稲田大学, 理工学術院, 教授 (10367170)

Project Period (FY) 2012-04-01 – 2015-03-31
Keywords画像圧縮 / スーパハイビジョン / エンコーダ / デジタル回路設計 / LSI
Research Abstract

スーパハイビジョン(7680x4320@60fps)は現在のハイビジョン(1920x1080@30fps)に比べ16倍の画素数と2倍のフレーム数を扱うこととなり、スループットでは32倍の速度向上を図る必要がある。特に、エンコーダにおいては、演算量は100倍以上、メモリバンド幅も50~100倍となり、現在までに開発された技術の延長では、高スループットを保証した下で、1チップで実現することは不可能である。本提案では、300MHzで8kx4k@60fpsを動作させ、エンコード可能な1チップLSIが実現できることを目標に、アルゴリズムから回路実装までの研究を行った。本年度は以下の成果を得た。
H.264とHEVCの両者に適用可能な動き予測IMEアルゴリズム(AASRA)を開発し、22%~
49%の演算量削減を行った。ハードウエアに向いたアルゴリズムであり、回路設計を開始し、EVCのイントラ予測機能においては、エンコーダは最適な符号のモード選択のために、RDO(レートデストーションの最適化)を使用している。本研究ではハードウエア化に適し,約30%の計算時間を削減できるRDOアルゴリズムを開発した。HEVCのイントラ予測に対して、レベルとモードフィルタリングに基づくアルゴリズムを開発し、約55%の演算量削減を行った。現在、アーキテクチャ設計を完了し、回路設計中である。イントラ予測のモード判定に関して、オールゼロブロックの検出を行うことで高速化 を行い、エンコーダの計算量を53%~73%削減した。また、DRAMインターフェイスに関して、DRAMと動画エンジン間のデータ転送量削減のために、データ圧縮手法を新たに考案し、従来法と比べて、約13%のデータ量を削減した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本年度は計算機シミュレーションより最適なアルゴリズムとアーキテクチャ設計を行うことを目標として進め、当初の目的は達成した。QFTV(4kx2k)に対して、メモリバンド幅を従来技術と比較して、60%削減できる方式を提案してきたが、スーパハイビジョン(8kx4k)では、QFTVに比べて4倍の高スループットを保ちながら、更に50%削減する方式を考案せねばならない。そこで、以下の2つの大きな課題を解決し、メモリバンド幅を削減した高性能予測エンジンの開発を行った。
(1)メモリバンド幅を削減した高性能動き予測エンジンの開発
階層的探索手法を提案し、解決を図ることを考えた。階層的探索手法では、粗いピクセルから細かいピクセルレベルまでの階層的なサンプル画像を用意し、MEを段階的に実行することで、高速な処理が可能となる。具体的には(A)各階層における参照サンプル画像のデータの依存性と異なる階層間のデータの依存性を考慮して、参照サンプル画像の最適化を図る。DRAMには最適化されたデータを格納することで、約60%のメモリバンド幅削減が可能であった。(B)演算量とメモリバンド幅を更に削減するために、各階層に演算の打ち切り(ターミネート)手法を導入した。(C)小さな動きの画像や複雑な画像をもつフレームはレベル0の探索を、大きな動きのあるフレームは高位レベルの探索を行い、予測手法を導入することで、各階層での演算を早めに打ち切れることが可能となった。(D)フレームレベルの並列化を導入して高速化を図り、各エンジンは1フレームを処理する。フレーム間で探索範囲の共有化を行うことにより、MEに必要なバンド幅を約70%削減できた。
以上の方法を導入し、双方向探索に必要なクロックは、1マイクロブロック当り、150クロックサイクルで処理可能であり、300MHzで8kx4k@60fpsが可能となった。

Strategy for Future Research Activity

8kx4kエンコーダの最も高性能なハードウエアを必要される動き予測エンジン(ME)処理 について機能設計と論理回路設計を行い、60fpsで実行可能なLSIチップを試作する。ここでのMEの研究課題は、複数コアを使用するために、フレーム並列を効率良く実行する制御回路の実現手法、多数のGOP(Group of Picture)の効率的同期スケジューリング手法、効果的なメモリキャッシング手法(1レベル又は2レベル)である。またこれらの課題を解決することで、動き予測におけるメモリバンド幅を従来比で約50%まで削減することである。ゲート回路設計、テスト設計を行い、バックエンド設計を行い、テープアウトを完了させ、チップの製造を行い、FPGA評価ボードで動作と機能を評価する。目標としている性能は300MHzのクロックで稼働させ、2Gピクセル/秒のスループット(7860x4320@60fps)が動き予測処理で保証されることである。
その後、8kx4kエンコーダの全体の機能設計、論理回路設計を行い、60fpsで実行可能なLSIチップを試作する。ここでの主要な研究課題は、25年度の開発した動き予測(ME)エンジンをコアとして、①適応型2値算術符号(CABAC)、②イントラ予測、③デブロッキングフィルター、④量子化処理へのフレーム並列化による高速化技術であり、これらの技術を開発することで、エンコーダLSIを300MHzのクロックで稼働させ、2Gピクセル/秒の性能が保証されること(7860x4320@60fps)である。

  • Research Products

    (24 results)

All 2013 2012 Other

All Journal Article (6 results) (of which Peer Reviewed: 5 results) Presentation (16 results) Remarks (1 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Content Adaptive Hierarchical Decision of Variable Coding Block Sizes in High Efficiency Video Coding for High Resolution Videos2013

    • Author(s)
      Guifen Tian, Xin Jin, Satoshi Goto
    • Journal Title

      IEICE Transaction on Fundamentals of Electronics, Communications and ComputerSciences

      Volume: Vol.E96-A,No.4 Pages: 780-789

    • DOI

      0.1587/transfun.E96.A.780

    • Peer Reviewed
  • [Journal Article] All-Zero Block-Based Optimization for Quadtree Structured Prediction and Residual Encoding in High Efficiency Video Coding2013

    • Author(s)
      Guifen Tian, Xin Jin, Satoshi Goto,
    • Journal Title

      IEICE Transaction on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: vol.E96-A, no.4 Pages: 769-779

    • DOI

      10.1587/transfun.E96.A.769

    • Peer Reviewed
  • [Journal Article] Encoder-Unconstrained User Interactive Partial Decoding Scheme2012

    • Author(s)
      Chen Liu, Xin Jin, Tianruo Zhang, Satoshi Goto
    • Journal Title

      EICE Transaction on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: vol.E95-A,no.8 Pages: 1288-1296

    • DOI

      10.1587/transfun.E95.A.1288

    • Peer Reviewed
  • [Journal Article] Framework of a Contour Based Depth Map Coding Method2012

    • Author(s)
      Minghui Wang, Xun He, Xin Jin, Satoshi Goto
    • Journal Title

      IEICE Transaction on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: vol.E95-A, no.8 Pages: 1270-1279,

    • DOI

      10.1587/transfun.E95.A.1270

    • Peer Reviewed
  • [Journal Article] Hilbert Transform Based Workload Prediction and Dynamic Frequency Scaling for Power Efficient Video Encoding2012

    • Author(s)
      Xin Jin, Satoshi Goto
    • Journal Title

      IEEE Trans. on CAD of Integrated Circuits and Systems. (TCAD)

      Volume: 31(5) Pages: 649-661

    • DOI

      10.1109/TCAD.2011.2180383.

    • Peer Reviewed
  • [Journal Article] An Advanced Hierarchical Motion Estimation Scheme with Lossless Frame Recompression and Early Level Termination for Beyond High Definition Video Coding2012

    • Author(s)
      Xuena Bao, Dajiang Zhou, Peilin Liu, Satoshi Goto
    • Journal Title

      IEEE Transactions on Multimedia(TMM)

      Volume: 14(2) Pages: 237-249

    • DOI

      10.1109/TMM.2011.2171677

  • [Presentation] An Efficient Lossless Reference Frame Recompression Schema2013

    • Author(s)
      Guo Li, Dajiang Zhou, Satoshi Goto
    • Organizer
      電子情報通信学会・総合大会
    • Place of Presentation
      岐阜
    • Year and Date
      20130318-20130322
  • [Presentation] A HEVC CU Pruning Method based on Depth2013

    • Author(s)
      Zhe Sheng , Satoshi Goto
    • Organizer
      電子情報通信学会・総合大会
    • Place of Presentation
      岐阜
    • Year and Date
      20130318-20130322
  • [Presentation] An efficient Mode Filtering Algorithm of small CU for HEVCInter Coding2013

    • Author(s)
      Yiming Cao, Satoshi Goto
    • Organizer
      電子情報通信学会・総合大会
    • Place of Presentation
      岐阜
    • Year and Date
      20130318-20130322
  • [Presentation] An FPGA Design of 1080p H.264 Video Decoder2013

    • Author(s)
      Yue Pan, Dajiang Zhou, Satoshi Goto,
    • Organizer
      電子情報通信学会・総合大会
    • Place of Presentation
      岐阜
    • Year and Date
      20130318-20130322
  • [Presentation] A 24.5-53.6pJ/pixel 4320p 60fps H.264/AVC intra-frame video encoder chip in 65nm CMOS2013

    • Author(s)
      Dajiang Zhou, Gang He, Wei Fei, Zhixiang Chen, Jinjia Zhou, Satoshi Goto
    • Organizer
      Asia and South Pacific Design Automation Conference (ASP-DAC)
    • Place of Presentation
      Yokohama
    • Year and Date
      20130122-20130125
  • [Presentation] De-blocking filter design for HEVC and H.264/AVC2012

    • Author(s)
      Muchen Li, Jinjia Zhou, Xiao Peng, Dajing Zhou, Satoshi Goto
    • Organizer
      Pacific-Rim Conference on Multimedia (PCM)
    • Place of Presentation
      Singpore
    • Year and Date
      20121204-20121206
  • [Presentation] An Optimization Scheme for Quadtree-Structured Prediction and Residual Encoding in HEVC2012

    • Author(s)
      Guifen Tian, Satoshi Goto
    • Organizer
      Asia Pacific Conference on Circuits and Systems (APCCAS)
    • Place of Presentation
      Taiwan
    • Year and Date
      20121202-20121205
  • [Presentation] 4 Chen LIU, Xin Jin, Satoshi Goto,” Envelope Detection Based Workload Prediction for Partial Decoding Scheme2012

    • Author(s)
      Chen LIU, Xin Jin, Satoshi Goto
    • Organizer
      sia Pacific Conference on Circuits and Systems (APCCAS)
    • Place of Presentation
      Taiwan
    • Year and Date
      20121202-20121205
  • [Presentation] Interlaced asymmetric search range assignment for bidirectional motion estimation2012

    • Author(s)
      Jinjia Zhou, Dajiang Zhou, Satoshi Goto,
    • Organizer
      The International Conference on Image Processing (ICIP)
    • Place of Presentation
      USA
    • Year and Date
      20120930-20121003
  • [Presentation] A 1991 Mpixels/s Intra Prediction Architecture for Super Hi-Vision H.264/AVC Encoder2012

    • Author(s)
      Gang He, Dajiang Zhou, Jinjia Zhou, Satoshi Goto
    • Organizer
      European Signal Processing Conference (EUSIPCO)
    • Place of Presentation
      Romania
    • Year and Date
      20120827-20120831
  • [Presentation] e-blocking filter for HEVC with skipping mode2012

    • Author(s)
      Muchen Li, Jinjin Zhou, Xiao Peng, Satoshi Goto
    • Organizer
      International Technical Conference on Circuits/Systems, Computers and Communications
    • Place of Presentation
      Sapporo
    • Year and Date
      20120715-20120718
  • [Presentation] All Zero Block Detection Algorithms for Residual Quadtree Encoding in HEVC2012

    • Author(s)
      Guifen Tian, Satoshi Goto
    • Organizer
      nternational Technical Conference on Circuits/Systems, Computers and Communications
    • Place of Presentation
      Sappro
    • Year and Date
      20120715-20120718
  • [Presentation] A low-complexity HEVC intra prediction algorithm based on level and mode filtering2012

    • Author(s)
      Heming Sun, Dajiang Zhou, Satoshi Goto
    • Organizer
      IEEE International Conference on Multimedia and Expo (ICME)
    • Place of Presentation
      Australia
    • Year and Date
      20120709-20120713
  • [Presentation] A 4320p 60fps H.264/AVC intra-frame encoder chip with 1.41Gbins/s CABAC2012

    • Author(s)
      Dajiang Zhou, Gang He, Wei Fei, Zhixiang Chen, Jinjia Zhou, Satoshi Goto
    • Organizer
      IEEE Symposium on VLSI Circuits (VLSI)
    • Place of Presentation
      USA
    • Year and Date
      20120613-20120615
  • [Presentation] A 18.42 Times Faster Video Encoder Based on Retinex Theory2012

    • Author(s)
      Xin Jin, Satoshi Goto
    • Organizer
      Picture Coding Symposium(PCS)
    • Place of Presentation
      Poland
    • Year and Date
      20120507-20120509
  • [Presentation] Content Adaptive Coding Unit Size Decision Algorithm for HEVC Intra Coding2012

    • Author(s)
      Guifen Tian, Satoshi Goto
    • Organizer
      Picture Coding Symposium(PCS)
    • Place of Presentation
      Poland
    • Year and Date
      20120507-20120509
  • [Remarks] 早稲田大学 後藤敏研究室

    • URL

      http://www.f.waseda.jp/goto/

  • [Patent(Industrial Property Rights)] 特許権2013

    • Inventor(s)
      後藤 敏
    • Industrial Property Rights Holder
      企業
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      JP120019
    • Filing Date
      2013-03-30

URL: 

Published: 2014-07-24  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi