2018 Fiscal Year Research-status Report
| Project/Area Number |
18K11360
|
|---|
| Research Institution | Chiba Institute of Technology |
|---|
Principal Investigator |
八島 由幸 千葉工業大学, 情報科学部, 教授 (60550689)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 画像符号化 / 機械学習 / ディープラーニング / フレーム間予測 / 画質推定 |
|---|
| Outline of Annual Research Achievements |
当該年度は，画像符号化における「予測処理」にディープラーニングを応用する手法に取り組んだ．H.265/HEVCをはじめとする動画像圧縮符号化では，フレーム間の動きを予測して対応する領域の差分を符号化するが，符号化対象領域にいかに類似した予測値を作成するかが課題となる．今回，従来のブロックマッチングに基づく動き補償予測に代わり，ディープニューラルネットワーク（DNN）を用いて効率的な予測値を生成する新手法を開発した．
具体的には，ディープラーニングを用いて設計したDNNを利用して，フレーム間の動きを予測する変換行列を生成し，それ用いて符号化対象フレームの前後のフレームから中間フレームを補間する新しい方法を考案した．本方法は任意精度の平行移動，スケーリング，およびぼけ変化の任意の組み合わせによってフレーム間の変化を補償できるので，動きの少ない映像に対してはH.265/HEVCよりも高い予測性能を提供することが可能となった．また，本手法は，デコード側でフレーム間の変化を検出できるので，動きベクトルの送信が不要になるという大きな利点がある．さらに，予測に用いる参照フレームに符号化雑音が生じていても効果的な補間が可能であることも検証した．
さらに予測効率を向上するために，ブロック単位でDNNベースのフレーム間予測と通常のHEVCベースの動き補償フレーム間予測を切り替える手法も開発した．実験により，適応化を用いた提案手法による予測誤差は，HEVCに基づく予測のみと比較して，様々な動きを持つほぼすべての映像に対して60％～90％に削減されることが明らかとなった
以上の成果は，複数の査読付き国際会議に採録され，うち２つの国際会議の発表においてはその新規性が評価されて，Best paper award等を受賞することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，機械学習の枠組みが，画像符号化における処理過程にどのように適用可能なのかを様々な観点から検討するアプローチをとっている．具体的には，(a)予測値生成畳込みニューラルネットワーク（Convolutional neural network，CNN），(b)予測／変換のブロック分割パターン推定CNN，(c)符号化雑音除去CNN，(d)画質推定CNN，(e)CNNそのものの圧縮符号化，の5つである．このうち，画像符号化を構成する処理要素の中で最も重要なものの一つが(a)の予測値生成であり，画像符号化効率を大きく左右する技術となる．
今回この課題(a)に対して，高い有効性を示す画期的な手法を考案できた．代表者らは，本課題に取り組む以前より，本手法の基本的アイディアは検討していたが，限定的な条件下のみの実験に留まっていた．しかし，今回の進捗により，参照フレームのブロックサイズの選び方や，HEVCとの適応化等の細部の技術を詳細に解析でき，実用的に用いることができるレベルの技術に結びつけることができた．一部，4K/8K解像度画像への対応などが未着手であるが，これらは実験に用いる計算機パワーの関係もあるため，2年目の実験システム構築を待って取り組む予定である．
一方で，当初の予定では2年目以降に行う項目であった，(d)の画質推定CNNに関しては，画像符号化における画質制御と大きな関係があるため先行検討を開始した．具体的には，DNNの中間層出力である特徴マップと，人間の注視領域を推定する顕著性マップを組み合わせることで，従来よりも高精度なフルリファレンス型画質推定が可能であることを実験的に明らかにした．初期検討の段階ではあるが，本成果は学会発表に結び付けることもでき，当初予定よりも早く進捗している．
以上を総合して，進捗状況はおおむね順調である．
|
| Strategy for Future Research Activity |
本研究課題では，画像符号化の様々な要素技術をDNNに置き換えることで，従来とは異なるフレームワークで圧縮効率のよい手法を確立することが目的である．世の中の技術進歩は早く，本課題分野においても急速に研究が活発化してきているため，2年目以降，当初の予定を前倒しして，DNNによる画質評価やDNNそのもののモデル圧縮に先行して取り組みたいと考えている．一方で，画像圧縮符号化国際標準化においては，H.265/HEVCの次を狙う規格であるVVC（Versatile video coding）の検討が始まっている．VVCでは，従来のH.265/HEVCの流れを踏襲しつつ，一部にDNNを利用する手法が徐々に検討されてきており，これらを常にワッチングしつつ技術比較を行う必要があると考える．
一方で，本検討を進めるにあたっては，実験や性能評価の高速化が課題となっている．ディープラーニングに関しては，いかに質の良い学習データを大量に収集するかが重要であり，実験には膨大な時間を要する．加えて，画像の高精細化で4Kや8Kといった映像では，さらに長時間の処理を要する．これらの状況を鑑み，本検討を進めるにあたっては，まずHD以下のクラスの解像度で実験を進めて基本的なアルゴリズムの確立を行ったうえで，最終年度に超高精細映像への適用を考えていく予定である．
最後に，本研究を進めるにあたって国際的な技術調査は必須であり，著名な国際会議に出席してタイムリーに情報を収集するとともに，本検討で得られた技術的な成果については，国内のみでなく国際的な発表を主に考えていく予定である．さらに，技術的な発表のみでなく，時代の大きな流れであるAI・IoT・8K放送などと本研究課題との関係を絡めた解説記事投稿や学会でのディスカッションにも積極的に取り組み，本分野の研究開発の活性化を図りたいと考えている．
|
| Causes of Carryover |
当初計画では，HD以下の映像を対象とした実験と並行して，4K（3840×2160），8K（7680×4320）といった超高精細映像向けのシミュレーション実験を行う予定にしていたが，本計画で取り組み中の，予測CNN／画質評価CNNおよび，ディープニューラルネットワークそのものの圧縮の3点に関しては，様々な解像度に共通に適用できる可能性のある技術が存在することから，先にHD解像度までの映像に対してアルゴリズム確立を行い，超高精細映像へ適用した場合の性能評価を，3年間の本研究計画の後半（2年目，3年目）にシフトすることとした．これにより，当初，1年目より使用予定であった高精細映像実験用の映像蓄積装置を2年目以降に調達する形にした．2年目は，GPU搭載符号化性能評価用PCおよび映像評価用高精細ディスプレイを当初計画の予算で調達し，超高精細映像向け大容量NASディスクを繰り越し予算で調達予定である．
|
Research Products
(4 results)
