A development of raw image coding with generalized spectral-spatial transforms
| Project/Area Number |
22K04084
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21020:Communication and network engineering-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
鈴木 大三 筑波大学, システム情報系, 准教授 (30615498)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | RAW画像 / 圧縮符号化 / スペクトル空間変換 / 生成的画像インペインティング / RAWデータ / カラーフィルタアレイ / 非相関化 / 画像符号化 |
|---|
| Outline of Research at the Start |
RAW画像は，豊富な色数や高ビット深度といった大量の情報を保持し，後処理で様々なニーズに応えられるため，写真家やデザイナーなどのハイエンドユーザから一般ユーザにまで広く使用される．しかし符号化形式が未だ確立しておらず，ファイルサイズはJPEGを始めとする標準規格で圧縮（符号化）されたファイルの何倍にも膨れ上がり，通信帯域やサーバ容量を圧迫している．本研究では，RAW画像をより非相関化する一般化スペクトル空間変換（SST）を創出し，SSTと標準規格との融合による新たなRAW画像符号化を確立する．
|
| Outline of Annual Research Achievements |
本研究の目的は多様なニーズの溢れる現代において益々注目されるRAW画像を，より効率良く圧縮符号化する新たな技術の創出と確立である．前半期では，RAW画像をより非相関化する一般化スペクトル空間変換（SST：Spectral-Spatial Transform）を創出することを計画している．3年計画の内の初年度であった2022年度では，低演算低レイテンシな標準規格であるJPEG XSのために開発されたSSTであるStar-Tetrix変換（STT：Star-Tetrix Trasnform）を元に，より柔軟な変換を行える拡張STT（XSTT：eXtended STT）を提案した．XSTTは2020年に発表したウェーブレットSST（WSST：Wavelet-based SST）における第4のWSSTと捉えることが可能であり，結果として従来のSSTを4つの一般化SSTとしてまとめることに成功したといえる．また，より効果的な変換を実現するための改善方法として，画像のエッジ方向を加味するWSST（WWSST：Weighted WSST）を新たに提案した．これらの成果は，当該分野トップジャーナルであるIEEE Transactions on Image Processingや当該分野トップカンファレンスであるIEEE International Conference on Acoustics, Speech, & Signal Processing (ICASSP) 2022にも採択され，高く評価された．そしてこれらの成果については国内研究会第37回信号処理シンポジウムでも発表し，多くの研究者と議論し，次の研究への糸口を掴むこととなった．
一方で，RAW画像をフルカラー画像として利用するためにはデモザイキングという画素の補完処理が必要となる．この処理はSSTにおける予測ステップに密接な関係があるため,その技術の進展が必要と考え，深層学習に基づく生成的画像インペインティングの研究も同時に進めている．この一つの成果についても，国内研究会第37回信号処理シンポジウムで発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前半期では，RAW画像をより非相関化する一般化SSTを創出することを計画している．研究実績の概要にも記載のとおり，その3年計画の内の初年度であった2022年度において，XSTTを提案し，2020年に発表した研究成果と合わせることで，従来のSSTを4つの一般化SSTとしてまとめることに成功したといえる．また，同時に生成的画像インペインティングの研究を始め，徐々に成果が出てきているところである．
|
| Strategy for Future Research Activity |
従来のSSTを4つの一般化SSTとしてまとめることに成功したが，あくまでこれはいわゆるBayer配列と呼ばれるカラーフィルタアレイ（CFA）に基づくRAW画像のための変換である．今後は配列パターンに捉われず，またRGB3色以外の色も含むCFAに基づくRAW画像への応用も考えていく．同時に，さらなる効率的なSSTも創出していく．また，同時に生成的画像インペインティングの研究も進め，SSTへの応用を考えていく．
|
Report
(1 results)
Research Products
(4 results)
