2017 Fiscal Year Research-status Report
Object-based parallel video coding system
| Project/Area Number |
17K00157
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
宋 天 徳島大学, 大学院社会産業理工学研究部(理工学域), 准教授 (10380130)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
島本 隆 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (20170962)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | HEVC / オブジェクトベース符号化 / 並列処理 |
|---|
| Outline of Annual Research Achievements |
動画像符号化標準HEVCが、高解像度の応用に圧縮率が不十分であり、構造的に現在のマルチコア演算環境に適していない。更に、HEVCの符号化効率の向上は、演算量の大幅な増加を代償に実現しているため、ソフトウェアとハードウェア実装の両面から見ても、HEVCのリアルタイム実装は大変困難な課題となっている。
本研究は、従来の符号化標準にある並列処理困難・演算量膨大・圧縮率不足の問題を解消するため、画像の注目オブジェクトの抽出技術を導入し、新しい符号化構造を提案する。この提案は、画像フレームを符号化する際に従来のフレーム単位で符号化していく構造に“オブジェクト抽出による動き検出”処理を加える。この処理により、画像内の注目領域を自動に抽出し、その動きを探索することにより真の動きを検出でき、画面間予測の効率を改善し符号化効率を大幅に向上する。この構造は、符号化効率を高めると同時に、フレームの符号化と並列に行っているため、並列な高速処理を容易に実現できる。また、オブジェクトの大きさと動きを正確に抽出できるため、反復されるパラメータ最適化処理を削減でき、大幅な演算量削減を可能にする。更に、オブジェクトのエッジ情報を利用し、画面内予測の方向を予測できるため、画面内符号化の符号化効率向上と演算量削減も可能である。
本研究は、概ね予定通りに実施してきました。研究アイディアは沢山あるが、新しいアルゴリズムの検討を続けながら、まとめて行く予定である。H29年度は積極的に国際会議に参加し、情報を収集しながら、HEVCの並列処理アルゴリズムについて交流を深めた。この分野の新しい提案を吸収しながら優れたアルゴリズムを提案してきました。提案手法と他の提案を比べても優れている手法を採用し、他の良い手法も取り入れることを考えている。また、研究成果を研究論文にまとめ、複数発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は、注目オブジェクトの抽出により圧縮率向上の目標を実現する。この目標の成否の鍵は、注目オブジェクトを効率的に抽出することと、そのオブジェクトを用いて画面間と画面内の符号化アルゴリズムを提案することになる。そのため、まず既存の注目オブジェクトを抽出するアルゴリズムをリアルタイム処理可能に改良する。また、抽出したオブジェクトの動き検出とエッジ検出処理を行い、画面間および画面内の符号化効率を向上する。これらの手法に関しては、先行研究の実験結果より大枠を把握しているが、細部にわたるアルゴリズムを提案し、過去に提案されている手法との比較を行う必要がある。現状では、計画している提案の部分的な性能を確認しているが、各手法の細部に渡る改良と全体実装が残されている。注目オブジェクトの抽出は既に検証によりその有効性を確認しているが、リアルタイム処理可能にするための改良が必要となり、様々な手法をシミュレーションにより確認する予定である。
H29年度では、注目オブジェクトの抽出アルゴリズムを提案する。まず、既存オブジェクト抽出アルゴリズムの改良する。先行研究により、共同研究先と開発した優れた注目オブジェクト抽出アルゴリズムを利用することが可能であるが、演算量とハードウェア実装容易性を考慮し、リアルタイム処理が可能なアルゴリズムを提案する。オブジェクト抽出アルゴリズムが既に確立しているため、シミュレーションによるパラメータの調整を続けているところである。
また、抽出したオブジェクトを用いた画面間・画面内符号化アルゴリズムを提案する。抽出したオブジェクト毎の動き探索アルゴリズムを検討し、オブジェクトの大きさにより異なる探索手法を採用し、HEVCのCUサイズに適応する探索アルゴリズムを提案する。オブジェクトサイズと探索した動きベクトルを利用した探索中心と探索範囲を決定するアルゴリズムを提案した。
|
| Strategy for Future Research Activity |
H30年度では、画面間と画面内予測用アルゴリズムの検証と改良を行う。H29年度で提案した画面間と画面内予測用アルゴリズムをHEVC参照ソフトウェアに実装し、その性能を検証する。部分的に検証したアルゴリズムをHEVCに実装し、提案アルゴリズムがHEVCのアルゴリズムと並列に実行するためのデータ交換システムを構築し、符号化効率の評価を行う。圧縮性能の評価以外に、並列処理速度の評価も行う。先行研究でも画面内と画面間予測の並列処理を試みたが、ブロック単位の並列処理は実現できたものの、高速性能が予想を下回り、更なる改善が必要となる。その原因を分析した結果、GPUの性能を十分引き出すためにフレームメモリのアクセス手法を改良する必要がある。GPUのメモリアーキテクチャを十分利用し、データのアクセス方法を改良することにより改善する。
H31年度では、提案手法を用いたビットレート制御アルゴリズムの提案と他の手法の比較を行う。最終年度では、前年度に構築した符号化アルゴリズムをベースに、注目オブジェクトと背景に合理的なビット配分を行うビットレート制御アルゴリズムを提案する。目標ビットレートにより、注目オブジェクトに多くのビットを配分し、背景部分に少ないビットを配分する動的ビットレート制御アルゴリズムを提案する。以上の検証を行ってから、本研究の提案手法と他の提案を比較し、その優劣を分析する。HEVC提案手法には、それぞれの特長があるため、画面間と画面内の手法を分けて比較する。また、従来手法と提案手法を併用する場合の検証も行う。
最後に、研究アイデアの特許出願と論文作成を行い、国際標準策定の動きを鑑みながら標準化活動にも参加する。また、当時予定してない内容ではあるが、他の研究チームの研究成果を応用した場合、もっと高い性能を達成できると考え、他のアルゴリズムを取り入れ、検証を行う予定である。
|
| Causes of Carryover |
本年度の研究に必要な物品が予定より少額で賄えたため、次年度使用額が生じた。
次年度は、作成したソフトウェアの検証作業にPCの追加が必要になると予想されるため、次年度研究費（物品費）と合わせて使用する計画である。
|
