2018 Fiscal Year Research-status Report
Object-based parallel video coding system
| Project/Area Number |
17K00157
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
宋 天 徳島大学, 大学院社会産業理工学研究部(理工学域), 准教授 (10380130)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
島本 隆 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (20170962)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | HEVC / オブジェクトベース符号化 / 並列処理 |
|---|
| Outline of Annual Research Achievements |
本研究は、従来の符号化標準にある並列処理困難・演算量膨大・圧縮率不足の問題を解消するため、画像の注目オブジェクトの抽出技術を導入し、新しい符号化構造を提案する。この提案は、画像フレームを符号化する際に従来のフレーム単位で符号化していく構造に“オブジェクト抽出による動き検出”処理を加える。この処理により、画像内の注目領域を自動に抽出し、その動きを探索することにより真の動きを検出でき、画面間予測の効率を改善し符号化効率を大幅に向上する。この構造は、符号化効率を高めると同時に、フレームの符号化と並列に行っているため、並列な高速処理を容易に実現できる。また、オブジェクトの大きさと動きを正確に抽出できるため、反復処理が必要とするパラメータ最適化処理を削減でき、大幅な演算量削減を可能にする。更に、オブジェクトのエッジ情報を利用し、画面内予測の方向を予測できるため、画面内符号化の符号化効率向上と演算量削減も可能である。
本研究は、概ね予定通りに実施してきました。昨年度は多くのアイディアから採用すべきアルゴリズムの検討を行ないました。今年度は積極的に国際会議に参加し、情報を収集しながら、HEVCの並列処理アルゴリズムについて交流を深めた。この分野の新しい提案を吸収しながら優れたアルゴリズムを提案してきました。特に人工知能技術の発展が著しいため、多くの手法を試しながら新たな研究アプローチを検討してきました。提案手法と他の提案を比べても優れている手法を採用し、他の良い手法も取り入れることを考えている。また、研究成果を研究論文にまとめ、複数発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は、注目オブジェクトの抽出により圧縮率向上の目標を実現する。この目標の成否の鍵は、注目オブジェクトを効率的に抽出することと、そのオブジェクトを用いて画面間と画面内の符号化アルゴリズムを提案することになる。
H30年度は、計画している提案の部分的な性能を確認しました。各手法の細部に渡る改良と全体実装を行いました。注目オブジェクトの抽出は既に検証によりその有効性を確認しているが、リアルタイム処理可能にするための改良が必要となり、様々な手法をシミュレーションにより確認する予定である。抽出したオブジェクトを用いて、オブジェクトの動きベクトルをHEVC従来の動き探索手法と併用するアルゴリズムを開発する必要がある。また、抽出したオブジェクトのエッジ情報を用いて、画面内符号化の符号化モードを効率的に選択するアルゴリズムを開発する。
予定より進んだ成果として、既存オブジェクト抽出アルゴリズムを改良した。機械学習を用いた輪郭まで綺麗に抽出するアルゴリズが発表され、その技術を活用して注目領域を抽出する方法を検討しました。先行研究により、共同研究先と開発した優れた注目オブジェクト抽出アルゴリズムを利用することが可能であるが、演算量とハードウェア実装容易性を考慮し、リアルタイム処理が可能なアルゴリズムを検討する必要がある。オブジェクト抽出アルゴリズムが既に確立しているため、シミュレーションによるパラメータの調整で対応できる。
また、抽出したオブジェクトを用いた画面間・画面内符号化アルゴリズムを提案した。抽出したオブジェクト毎の動き探索アルゴリズムを検討し、オブジェクトの大きさにより異なる探索手法を採用し、HEVCのCUサイズに適応する探索アルゴリズムを提案した。
|
| Strategy for Future Research Activity |
H31年度では、画面間と画面内予測用アルゴリズムの検証と改良を行う。昨年度で提案した画面間と画面内予測用アルゴリズムをHEVC参照ソフトウェアに実装し、その性能を検証する。部分的に検証したアルゴリズムをHEVCに実装し、提案アルゴリズムがHEVCのアルゴリズムと並列に実行するためのデータ交換システムを構築し、符号化効率の評価を行う。圧縮性能の評価以外に、並列処理速度の評価も行う。先行研究でも画面内と画面間予測の並列処理を試みたが、ブロック単位の並列処理は実現できたものの、高速性能が予想を下回り、更なる改善が必要となる。その原因を分析した結果、GPUの性能を十分引き出すためにフレームメモリのアクセス手法を改良する必要がある。GPUのメモリアーキテクチャを十分利用し、データのアクセス方法を改良することにより改善する。
最後は、提案手法を用いたビットレート制御アルゴリズムの提案と他の手法の比較を行う。前年度に構築した符号化アルゴリズムをベースに、注目オブジェクトと背景に合理的なビット配分を行うビットレート制御アルゴリズムを提案する。目標ビットレートにより、注目オブジェクトに多くのビットを配分し、背景部分に少ないビットを配分する動的ビットレート制御アルゴリズムを提案する。以上の検証を行ってから、本研究の提案手法と他の提案を比較し、その優劣を分析する。HEVC提案手法には、それぞれの特長があるため、画面間と画面内の手法を分けて比較する。また、従来手法と提案手法を併用する場合の検証も行う。
最後に、研究アイデアの特許出願と論文作成を行い、国際標準策定の動きを鑑みながら標準化活動にも参加する。また、当時予定してない内容ではあるが、他の研究チームの研究成果を応用した場合、もっと高い性能を達成できると考え、他のアルゴリズムを取り入れ、検証を行う予定である。
|
| Causes of Carryover |
本年度の研究に必要なプリンタが予定より少額で賄えたため、次年度使用額が生じた。
使用計画：次年度は、最終まとめに必要な事務用品が多く必要になると予想されるため、次年度研究費と合わせて使用する計画である。
|
