2017 Fiscal Year Research-status Report
実時間画像センシング向け超低遅延動画像符号化圧縮方式に関する研究
| Project/Area Number |
17K06444
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
松村 哲哉 日本大学, 工学部, 教授 (50713129)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
今村 幸祐 金沢大学, 電子情報学系, 准教授 (00324096)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 低遅延 / 動画像符号化 / 画像センシング / 予測方式 |
|---|
| Outline of Annual Research Achievements |
本研究では，ラインを基本単位とする「実時間画像センシング向け超低遅延動画像符号化方式」技術を確立する．車両やロボットの自動制御，IoT機器間の画像データ転送では，低遅延転送が最重要課題となる．本研究の符号化技術では，動画像をマイクロ秒オーダーの超低遅延で転送することを目的とする．特長は，(1)ライン単位および画素単位での画像予測，(2)ダイナミックレンジ適応型量子化およびコンテキスト適応型準固定長符号化，(3) 細粒度レート制御方式である．最終的に，アルゴリズムをFPGAへ実装して超低遅延で動画像転送を実証する．本研究は平成31年度末までに，以下の手順にて，「超低遅延動画像符号化方式」を確立しFPGAに実装することにより超低遅延での符号化処理を実証する．初めにPC上にてシミュレータを構築し符号化アルゴリズムを策定する．次にこのアルゴリズムを実現するハードウェア・アーキテクチャを検討し，IP化設計を行う．最後にこれをFPGAに実装し超低遅延での符号化処理を実証する．
平成29年度は独自のライン処理をベースとする超低遅延動画像符号化方式によるシミュレータを構築し，このシミュレータを用いてアルゴリズムを改善し画質を維持しながら圧縮率を高める手法を策定した。まずライン単位の画像予測では隣接画素からの予測や複数ライン予測を初めとし種々の有効な予測手法を提案及び実装し評価した．また，エントロピー符号化手法では新規に量子化係数予測符号化を適用することで圧縮率の向上を確認した。一連の研究において，マイクロ秒オーダーでの低遅延動画像符号化を実現する方式として、40dB以上の高画質を維持しつつ，約1/3の圧縮率を確認することができた．
この成果を平成29年度の電子情報通信学会と情報処理学会東北支部で2件の口頭発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
平成29年度は独自のライン処理をベースとする超低遅延動画像符号化方式によるシミュレータをC言語により構築した．このシミュレータは(1)ライン単位および画素単位での画像予測，(2)ダイナミックレンジ適応型量子化およびコンテキスト適応型準固定長符号化をベースとして構成され、圧縮率やPSNRの評価指標を得られるようにした．当初実装予定であった(3) 細粒度レート制御方式の実装に関して若干の遅れがあり，平成30年度に実装予定である．
このシミュレータを用いてアルゴリズムを改善し画質を維持しながら圧縮率を高める手法を策定した．まずライン単位の画像予測では隣接画素からの予測や複数ライン予測を初めとし種々の有効な予測手法を提案及び実装し評価した．また，エントロピー符号化手法では新規に量子化係数予測符号化を適用することで圧縮率の向上を確認した。ただし細粒度レート制御方式については来年度にシミュレータに実装予定である。一連の研究において，マイクロ秒オーダーでの低遅延動画像符号化を実現する方式として、40dB以上の高画質を維持しつつ，約1/3の圧縮率を確認することができた．
予定していたシミュレータの構築とこれを用いたアルゴリズムの策定は，細粒度レート制御を除いて予定通りの進捗で実現できた．ただし圧縮率に関してはさらなる改善を目指した研究活動を継続する必要があり，細粒度レート制御方式の実装を含めて平成30年度の研究と並行してシミュレーションによるアルゴリズム開発を実施する予定である．
|
| Strategy for Future Research Activity |
提案する符号化アルゴリズムは低遅延処理を低コストで行うことを目的としているため，実際にハードウェア化し低遅延性能と実装規模を確認する必要がある．
平成30年度は，平成29年度に策定した超低遅延豪画像符号化アルゴリズムのさらなる改善と検証を実施すると同時に，上記アルゴリズムを実現するアーキテクチャ検討を並行して実施する．アルゴリズム改善は画素処理の単位を変更し傾向を確認することや大画面の画像に対する圧縮率と画質の関係を評価する．このアルゴリズム改善により効果的な結果は得られた場合は速やかにアーキテクチャ設計に反映させることを前提とする。また，アーキテクチャ検討に関しては，アルゴリズムを効率よく実現する処理ブロックの分割やデータフローおよびメモリ制御を踏まえたアーキテクチャを提案し最終的には回路設計とIP化を実施する．送信側に配置するエンコーダIP，および受信側に配置するデコーダIPの双方のIPを設計する．IP設計においては，高位合成手法を適用しハードウェア化することを前提する．これらの研究成果を国際学会で発表すると同時に査読付きの論文誌に投稿予定である．
平成31年度は設計したIPをFPGA実装し実装規模を確認する予定である．実時間での符号化処理が可能であることから，多数の高精細テスト動画像を入力し，どの画像に対しても十分な圧縮率が得られることを集中的に検証する．不十分な点があれば，アルゴリズムにフィードバックし再検討を行う．また，エンコーダとデコーダを統合したシステムを構築し，実際に高精細動画像の転送を行い，エンコーダへの画像入力からデコーダの画像出力の遅延時間を測定することで，超低遅延での符号化処理を実証する．
|
| Causes of Carryover |
平成29年度には，PC上にて動作するC言語シミュレータを設計し，符号化アルゴリズムを策定した。シミュレータ上で検討する具体的には①ライン単位および画素単位での画像予測方式および，②ダイナミックレンジ適応型量子化およびコンテキスト適応型準固定長符号化方式である。
これらの研究の実施にあたり、分担研究者および協力研究者の在籍する金沢大学ヘは予定通り研究打ち合わせにより国内出張を行った．また大規模シミュレーション用に高性能PCと評価用動画シーケンスの購入を予定していた。高性能PCに関してはシミュレータの構築に若干の遅れがあったため大規模シミュレーションへの対応は現存するPCで実施したため購入に遅延が生じた．今後は大規模シミュレーションでの評価が必要になるため平成30年度には高性能PCをシミュレーション用PCとして配備する予定である。評価用動画シーケンスについては、当初の評価に必要な大画面動画シーケンスを6種類購入し評価を実施中である。今後は研究の進捗に合わせて追加購入を検討する。
|
