2019 Fiscal Year Research-status Report
機械学習を応用した次世代動画像符号化アルゴリズム及びその専用ハードウェアの開発
| Project/Area Number |
19K24347
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
片山 貴文 徳島大学, 大学院社会産業理工学研究部(理工学域), 助教 (70848522)
|
|---|
| Project Period (FY) |
2019-08-30 – 2021-03-31
|
| Keywords | 動画像符号化 / 機械学習 / Versatile Video Coding |
|---|
| Outline of Annual Research Achievements |
本研究は、次世代動画像符号化技術に新規機械学習技術を導入することにより、高効率な符号化を達成し、ハードウェア実装時の並列処理困難の問題を解決する。動画像符号化技術は、符号化効率の向上を最優先に開発されてきた結果、符号化ユニット間の依存性が高く、並列処理可能な符号化器のハードウェア実装が実現困難となっている。特に高解像度動画像の符号化を対象とした、専用LSIの設計が難題となっている。先行研究では、機械学習技術を用いた一部の符号化パラメータの最適化が行われたが、処理速度と符号化効率の向上を目的とした本質的な改善を実現していない。これらのことから、本研究では、機械学習の最新研究成果を鑑み、符号化構造を抜本的に改造し、動画像の分析回路と符号化回路が並列処理可能なアーキテクチャを提案する。本提案は、並列処理の実現のみならず、符号化効率の向上とハードウェアの小面積化に貢献可能なアルゴリズムを提案する。
2019年度の研究実績として、動画像の分析回路と符号化回路それぞれのアルゴリズムの検討と実装を行った。特に動画像符号化の中核となるイントラ/インター符号化方式に重要であるパラメータを抽出するための、機械学習による動画像分析回路の実装を中心に進めた。今年度の成果としては、1,主要な機械学習アルゴリズムの提案したこと、2,動画像符号化にとって最適な符号化パラメータの決定が可能となったことの2点である。これらの研究成果を研究論文としてまとめ、複数の国際会議で発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2019年度では、動画像分析回路のリアルタイム処理が可能な回路を設計するためのアルゴリズムの実装及び検証を行った。これまで発表されている機械学習アーキテクチャの改善により、イントラ/インター符号化効率の大幅な向上が可能であることを確認した。さらに、CNNを利用する機械学習アーキテクチャであるため、リアルタイム性確保に向けたパラメータ削減、データ圧縮、ビット長削減等の手法の適応を検討した。具体的内容を下記に示す。
・イントラ/インター符号化パラメータ抽出用のRecurrentな機械学習手法の提案。
イントラ符号化では、これまでに提案されているGAN（Generative Adversarial Network）をさらに改善することで、どのような自然画像においても機械学習による圧縮効率の向上が可能となった。インター符号化に関しては、高精度な参照フレームの画像生成手法が難題であることから、機械学習を用いた連続画像の生成手法の提案を行い、高効率であることを確認した。どちらの技術においても、リアルタイム性と符号化効率を確保するため、Recurrentな機械学習を提案することで、符号化回路と高い親和性を持つ並列処理が可能でることを確認した。
現在、これらに関しての論文を執筆中であり、本年度も国際会議に複数参加する予定である。
|
| Strategy for Future Research Activity |
今年度は動画像符号化回路の検証とそのハードウェア設計向けたより具体的な回路を提案する。
1点目は、動画像分析回路から出力されるパラメータとVVCに導入された新規アルゴリズムの親和性を考慮した動画像符号化回路の設計を行う。動画像符号化回路に必要とされる最低限のパラメータ数と符号化性能の関係性をソフトウェア検証により明らかにする。現在の検証結果では、CNNによるパラメータ抽出は従来手法に比べて遜色のない性能を実現しており、引き続き検証を行う。
2点目は、全体ハードウェア・アーキテクチャを考慮した、ソフトウェアを使用した評価及び設計を行う。本研究で提案する全体ハードウェア・アーキテクチャが小面積・低消費電力が達成されていることを確認する。VVCのアルゴリズムを実現するアーキテクチャにCNN処理用ハードウェアを加えたことにより、ハードウェア全体の負荷が増加する可能性も考えられるため、並列処理、符号化効率向上、設計容易性において本提案の利点を明らかにする。本フェーズの性能評価により、提案した動画像分析回路と動画像符号化回路が、次世代符号化構造として有効であることを確認する。
|
| Causes of Carryover |
2019年度は、コロナウイルス感染症の影響により参加予定であった二つの学会が中止となってしまった。この影響により2019年度の旅費の支出に差額が発生している。物品費に関しては、購入予定の機器の発注を行ったが、上記と同様の理由で、納期が年度末になってしまったため、大きな差額が発生している。こちらについては、既に購入済みで納品されているので、2020年度への差額の影響は少ない。
2020年度は、前年度に発生した差額は学会参加費用や論文掲載費用に充てる予定である。今年度もコロナウイルス感染症の影響を受け、物品購入に遅延が発生することや学会への参加が困難になると考えられるので、必要物品の購入は前期中に行う予定であり、旅費に関しては論文掲載料へ代用する可能性がある。
|
