研究課題/領域番号 |
22K17921
|
研究種目 |
若手研究
|
配分区分 | 基金 |
審査区分 |
小区分61010:知覚情報処理関連
|
研究機関 | 国立研究開発法人理化学研究所 |
研究代表者 |
孫 哲 国立研究開発法人理化学研究所, 光量子工学研究センター, 研究員 (40804662)
|
研究期間 (年度) |
2022-04-01 – 2025-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2022年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
|
キーワード | 視覚的注意 / 重要度マップ / 画像復元 / 動画像圧縮 / テレプレゼンス / 顕著性マップ / 画質評価 |
研究開始時の研究の概要 |
テレビ会議やロボットを遠隔操作するシステムにおいて、通信で遅延を生じないことが重要であり、動画像データの高圧縮や復元技術が求められる。既存の研究ではビデオデータの空間的および時間的冗長性を削減する。客観的な冗長性の削減による圧縮性能の改善は限界に近付きつつある。そこで課題では、人間の視覚特性に基づいて、重要度マップのディザリング処理により入力画像/ビデオを圧縮する方法を提案する。重要度マップとは入力画像の顕著性マップ及び勾配強度マップから算出されるもので、入力画像の各画素の重要度値の空間分布を示す。また、圧縮の効果を評価するために、人間知覚を考慮した重みづけによる客観的品質評価指標も提案する。
|
研究実績の概要 |
近年、テレビ会議や遠隔操作ロボット等のテレプレゼンスシステムの必要性が増している。テレプレゼンスとは遠隔地と同じ空間を共有しているように感じる技術の総称である。しかし、JPEG200, H. 266等の既存の動画像符号化手法では、ある一定の圧縮率を超えると映像の品質に著しい劣化が発生する。この問題は、地上と宇宙の通信で見られるようなネットワーク帯域が厳しく制限される環境下においてテレプレゼンスシステムを実現しようとした時に大きなボトルネックとなる。令和4年度は「知覚的に高品質な動画像通信の実現」に向けて、視覚特性に基づくサンプリングと画像補完法を利用した圧縮復元フレームワークを開発した。圧縮処理では、深層学習モデルで算出した顕著性マップと勾配を組み合わせた重要性マップを用いて、視覚特性を反映したサンプリングを画像に適用した。復元処理では、テンソルデータ補完と埋め込み空間における多様体モデルを用いて画像を復元した。ランダムサンプリングと重要性サンプリングをそれぞれ適用した画像の復元結果の比較により、提案法が画像評価指標PSNRおよびSSIMにおいて優れることを確認した。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初予定していた視覚的注意に基づく画像圧縮・復元フレームワークは概ね予定通り開発とテストできたため。
|
今後の研究の推進方策 |
令和5年度は画像評価指標から結果を確認しながら、引き続視覚特性に基づいて画像圧縮・復元のフレームワークを改良する。現在のフレームワークで使った重要性マップと深層学習手法を組み合わせた圧縮・復元の動画への拡張を実施する。従来の定量的な画像評価指標だけでなく、重要性マップによって重みづけした評価指標での評価も実施する。
|