Human Visual Properties based Image/Video Compression Research
| Project/Area Number |
22K17921
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
孫 哲 国立研究開発法人理化学研究所, 光量子工学研究センター, 研究員 (40804662)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 視覚的注意 / 重要度マップ / 画像復元 / 動画像圧縮 / テレプレゼンス / 顕著性マップ / 画質評価 |
|---|
| Outline of Research at the Start |
テレビ会議やロボットを遠隔操作するシステムにおいて、通信で遅延を生じないことが重要であり、動画像データの高圧縮や復元技術が求められる。既存の研究ではビデオデータの空間的および時間的冗長性を削減する。客観的な冗長性の削減による圧縮性能の改善は限界に近付きつつある。そこで課題では、人間の視覚特性に基づいて、重要度マップのディザリング処理により入力画像/ビデオを圧縮する方法を提案する。重要度マップとは入力画像の顕著性マップ及び勾配強度マップから算出されるもので、入力画像の各画素の重要度値の空間分布を示す。また、圧縮の効果を評価するために、人間知覚を考慮した重みづけによる客観的品質評価指標も提案する。
|
| Outline of Annual Research Achievements |
近年、テレビ会議や遠隔操作ロボット等のテレプレゼンスシステムの必要性が増している。テレプレゼンスとは遠隔地と同じ空間を共有しているように感じる技術の総称である。しかし、JPEG200, H. 26６等の既存の動画像符号化手法では、ある一定の圧縮率を超えると映像の品質に著しい劣化が発生する。この問題は、地上と宇宙の通信で見られるようなネットワーク帯域が厳しく制限される環境下においてテレプレゼンスシステムを実現しようとした時に大きなボトルネックとなる。令和４年度は「知覚的に高品質な動画像通信の実現」に向けて、視覚特性に基づくサンプリングと画像補完法を利用した圧縮復元フレームワークを開発した。圧縮処理では、深層学習モデルで算出した顕著性マップと勾配を組み合わせた重要性マップを用いて、視覚特性を反映したサンプリングを画像に適用した。復元処理では、テンソルデータ補完と埋め込み空間における多様体モデルを用いて画像を復元した。ランダムサンプリングと重要性サンプリングをそれぞれ適用した画像の復元結果の比較により、提案法が画像評価指標PSNRおよびSSIMにおいて優れることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していた視覚的注意に基づく画像圧縮・復元フレームワークは概ね予定通り開発とテストできたため。
|
| Strategy for Future Research Activity |
令和５年度は画像評価指標から結果を確認しながら、引き続視覚特性に基づいて画像圧縮・復元のフレームワークを改良する。現在のフレームワークで使った重要性マップと深層学習手法を組み合わせた圧縮・復元の動画への拡張を実施する。従来の定量的な画像評価指標だけでなく、重要性マップによって重みづけした評価指標での評価も実施する。
|
Report
(1 results)
Research Products
(2 results)
