| Project/Area Number |
22K17921
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Juntendo University (2023)
Institute of Physical and Chemical Research (2022) |
|---|
Principal Investigator |
孫 哲 順天堂大学, 健康データサイエンス学部, 講師 (40804662)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 視覚的注意 / 重要度マップ / 画像復元 / 動画像圧縮 / テレプレゼンス / 顕著性マップ / 画質評価 |
|---|
| Outline of Research at the Start |
テレビ会議やロボットを遠隔操作するシステムにおいて、通信で遅延を生じないことが重要であり、動画像データの高圧縮や復元技術が求められる。既存の研究ではビデオデータの空間的および時間的冗長性を削減する。客観的な冗長性の削減による圧縮性能の改善は限界に近付きつつある。そこで課題では、人間の視覚特性に基づいて、重要度マップのディザリング処理により入力画像/ビデオを圧縮する方法を提案する。重要度マップとは入力画像の顕著性マップ及び勾配強度マップから算出されるもので、入力画像の各画素の重要度値の空間分布を示す。また、圧縮の効果を評価するために、人間知覚を考慮した重みづけによる客観的品質評価指標も提案する。
|
| Outline of Annual Research Achievements |
近年、テレビ会議や遠隔操作ロボット等のテレプレゼ ンスシステムの重要性が増している 。こうした視覚的な通信を高速にするために、動画像の高圧縮と高品質な復元が必要とされる。しかし、既存のH.265 、MPEG4等の圧縮法は通信技術の発展に伴ってレート歪の限界に近付きつつあり、新たな圧縮・復元技術が求められている 。令和5年度は、開発したフレームワークで圧縮したデータの符号化方法を探求した。この手法により、元の情報量の1%まで視覚特性に基づく圧縮が可能になった。一方、目的とする元の情報量の0.03%以下への圧縮は厳しく、復元処理の時間コストも大きいことが判明した。圧縮率を改良するため、符号化処理研究を調査し、調査した符号化方法を圧縮フレームワークを組み込んで、公開の画像データで検証した。復元処理の問題に対して、並列計算など方法を調査し、復元処理の高速化を探索した。
そのため、圧縮・復元処理の中心技術として、深層学習による画像の圧縮・復元には畳み込みニューラルネットワークをオートエンコーダーの手法として採用した。また、開発してきた視覚特性を反映する重要性マップを損失関数に組み込むことで、視覚特性に基づく深層学習の訓練を可能にした。訓練のために、公開されている画像データセットに対応する重要性マップデータセットの作成も新たに行った。現在、開発した深層学習モデルの訓練を行いつつ、最適なパラメータの探索を進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
入力画像の関心領域に基づくディザリング処理を用いた圧縮と、テンソル補完法を用いた復元を組み合わせたシステムにおいて、圧縮した画像の符号化結果は目的とする圧縮率への到達が難しく、復元処理の時間コストも大きいため、符号化と復元方法の高速化を模索した。
|
| Strategy for Future Research Activity |
そこで、今期は圧縮・復元処理の中心技術として、重要性マップと深層学習手法を組み合わせた方法など改良方法を研究開発する。従来の定量的な画像評価指標に加え、重要性マップによる重みづけを取り入れた評価指標や、人間の被験者を用いた知覚実験による評価も実施する。
|
