2022 Fiscal Year Research-status Report
Human Visual Properties based Image/Video Compression Research
| Project/Area Number |
22K17921
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
孫 哲 国立研究開発法人理化学研究所, 光量子工学研究センター, 研究員 (40804662)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 視覚的注意 / 重要度マップ / 画像復元 |
|---|
| Outline of Annual Research Achievements |
近年、テレビ会議や遠隔操作ロボット等のテレプレゼンスシステムの必要性が増している。テレプレゼンスとは遠隔地と同じ空間を共有しているように感じる技術の総称である。しかし、JPEG200, H. 26６等の既存の動画像符号化手法では、ある一定の圧縮率を超えると映像の品質に著しい劣化が発生する。この問題は、地上と宇宙の通信で見られるようなネットワーク帯域が厳しく制限される環境下においてテレプレゼンスシステムを実現しようとした時に大きなボトルネックとなる。令和４年度は「知覚的に高品質な動画像通信の実現」に向けて、視覚特性に基づくサンプリングと画像補完法を利用した圧縮復元フレームワークを開発した。圧縮処理では、深層学習モデルで算出した顕著性マップと勾配を組み合わせた重要性マップを用いて、視覚特性を反映したサンプリングを画像に適用した。復元処理では、テンソルデータ補完と埋め込み空間における多様体モデルを用いて画像を復元した。ランダムサンプリングと重要性サンプリングをそれぞれ適用した画像の復元結果の比較により、提案法が画像評価指標PSNRおよびSSIMにおいて優れることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していた視覚的注意に基づく画像圧縮・復元フレームワークは概ね予定通り開発とテストできたため。
|
| Strategy for Future Research Activity |
令和５年度は画像評価指標から結果を確認しながら、引き続視覚特性に基づいて画像圧縮・復元のフレームワークを改良する。現在のフレームワークで使った重要性マップと深層学習手法を組み合わせた圧縮・復元の動画への拡張を実施する。従来の定量的な画像評価指標だけでなく、重要性マップによって重みづけした評価指標での評価も実施する。
|
| Causes of Carryover |
令和４年度計算したデータは購入したサーバーで保管して、データ保存用スト レージを購入していないため、次年度使用額が生じた。令和５年度大規模な計算を行う予定なので、スト レージが必要である。次年度使用額でデータ保存用スト レージを購入する。
|
Research Products
(2 results)
