| Project/Area Number |
23K03843
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21020:Communication and network engineering-related
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
亀山 渉 早稲田大学, 理工学術院, 教授 (90318858)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 映像符号化 / 動き補償 / DNN / 予測フレーム生成 / 動き保証 |
|---|
| Outline of Research at the Start |
従来の映像符号化方式を超える情報圧縮性能を達成することを目的として、映像符号化方式の圧縮性能に大きく寄与する動き補償予測方式に着目し、符号化済みフレームを学習データとして利用するDNN（Deep Neural Network）による動き補償予測方式について研究する。多様な動きに対する追従性能向上と生成フレームのボケを改善する高画質予測フレーム生成手法の検討、多様な映像内容を含んだ大量フレームの学習による汎化性能向上、映像情報圧縮性能の統合検証を通し、映像符号化方式におけるDNNの効率的かつ汎用的な利活用手法を明らかにする。
|
| Outline of Annual Research Achievements |
非定常な映像信号にルールベースで追従する従来の映像符号化方式を超える情報圧縮性能を達成するため、符号化済みフレームを学習データとして利用するDNNによる動き補償予測方式について、3年間の研究の初年度を終了した。
研究課題1「高画質予測フレーム生成」に関して、PredNetに複数の畳み込みを導入する手法を検討した。具体的には、PredNetに3×3、5×5、7×7の畳み込みを組み合わせて評価を行ったところ、実験で使用した映像では3×3及び5×5の組み合わせで最も良い予測フレームが得られることを確認した。また、これらの複数の畳み込みをPredNetに代わる新しいアーキテクチャとして提案されているPreCNetに導入する検討を行った。GANとPredNetの併用方法については、2022年度に前倒しで既に検討を行っており（"GANとPredNetを用いた映像フレーム予測精度向上に関する検討"，電子情報通信学会画像工学研究会，2022年3月）、2023年度はPreCNetにこれを導入する検討を行った。画像特徴量を考慮した損失関数の導入に関しては、既提案のGDL（Image Gradient Difference Loss）を拡張し、3×3、5×5及び7×7の組み合わせでエッジ特徴を抽出したものを損失関数として利用する手法を提案した。実験の結果、既提案のVGG16を利用した特徴量を損失関数として利用する手法に比べ、より少ない計算量で良い予測性能が得られる組み合わせの存在を確認した。以上に加え、時空間情報を利用した新しいフレーム予測手法について基礎的な検討を行い、高品質な予測フレーム生成の可能性を得た。
研究課題2「汎化性能向上」については、実験環境を整備を整備した。整備した実験環境を基に、2024年度に学習モデル生成を行っていくことを予定する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究課題1「高画質予測フレーム生成」については、一部の検討課題は2022年度に前倒して研究を行っていたが、2023年度は、それを含めて、当初の計画通りに研究を遂行した。加えて、時空間情報を利用する新しい予測フレーム生成手法にも着手した。これについては、2024年度に研究成果を査読付き国際学会で発表する予定としている。研究成果については、査読付き国際会議2件、国内学会発表1件の発表を行い、予定通りの研究成果公表を行った。一方、PredNetに代わる新しいアーキテクチャとして提案されているPreCNetにこれらの提案手法を組み込む方法については方式検討に留まっているため、引き続き2024年度の検討課題とする。
研究課題2「汎化性能向上」については、当初の予定通りに実験環境構築を行った。よって、2024年度は当初の予定通りの研究計画を実施する。
|
| Strategy for Future Research Activity |
2023年度はほぼ計画通りに研究を遂行できたことから、研究期間2年目に当たる2024年も、当初の計画通りに研究を進めることとする。即ち、研究課題1「高画質予測フレーム生成」については、引き続き各種の新しい提案と改良方式の検討を進め、既存提案手法を含め、性能向上と最適化に関する検討を行うこととする。研究課題2「汎化性能向上」については、2022年度に構築した実験環境を利用し、大量のフレーム情報を利用した学習モデル生成実験を行うこととする。
また、研究課題3「統合検証」については、2025年度に予定する研究課題1及び2で検討した全ての成果を既存の映像符号化方式に組み込み、圧縮性能の観点からその有効性を確認する統合検証に向け、予定通り、計画の立案を行うと共に、統合検証に必要な環境構築を行う予定とする。具体的には、既存の映像符号化に種々の提案手法を組み込むためのシミュレーションソフトウェアの整備を行うこととする。
|
