2022 Fiscal Year Research-status Report
A development of raw image coding with generalized spectral-spatial transforms
| Project/Area Number |
22K04084
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
鈴木 大三 筑波大学, システム情報系, 准教授 (30615498)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | RAW画像 / 圧縮符号化 / スペクトル空間変換 / 生成的画像インペインティング |
|---|
| Outline of Annual Research Achievements |
本研究の目的は多様なニーズの溢れる現代において益々注目されるRAW画像を，より効率良く圧縮符号化する新たな技術の創出と確立である．前半期では，RAW画像をより非相関化する一般化スペクトル空間変換（SST：Spectral-Spatial Transform）を創出することを計画している．3年計画の内の初年度であった2022年度では，低演算低レイテンシな標準規格であるJPEG XSのために開発されたSSTであるStar-Tetrix変換（STT：Star-Tetrix Trasnform）を元に，より柔軟な変換を行える拡張STT（XSTT：eXtended STT）を提案した．XSTTは2020年に発表したウェーブレットSST（WSST：Wavelet-based SST）における第4のWSSTと捉えることが可能であり，結果として従来のSSTを4つの一般化SSTとしてまとめることに成功したといえる．また，より効果的な変換を実現するための改善方法として，画像のエッジ方向を加味するWSST（WWSST：Weighted WSST）を新たに提案した．これらの成果は，当該分野トップジャーナルであるIEEE Transactions on Image Processingや当該分野トップカンファレンスであるIEEE International Conference on Acoustics, Speech, & Signal Processing (ICASSP) 2022にも採択され，高く評価された．そしてこれらの成果については国内研究会第37回信号処理シンポジウムでも発表し，多くの研究者と議論し，次の研究への糸口を掴むこととなった．
一方で，RAW画像をフルカラー画像として利用するためにはデモザイキングという画素の補完処理が必要となる．この処理はSSTにおける予測ステップに密接な関係があるため,その技術の進展が必要と考え，深層学習に基づく生成的画像インペインティングの研究も同時に進めている．この一つの成果についても，国内研究会第37回信号処理シンポジウムで発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前半期では，RAW画像をより非相関化する一般化SSTを創出することを計画している．研究実績の概要にも記載のとおり，その3年計画の内の初年度であった2022年度において，XSTTを提案し，2020年に発表した研究成果と合わせることで，従来のSSTを4つの一般化SSTとしてまとめることに成功したといえる．また，同時に生成的画像インペインティングの研究を始め，徐々に成果が出てきているところである．
|
| Strategy for Future Research Activity |
従来のSSTを4つの一般化SSTとしてまとめることに成功したが，あくまでこれはいわゆるBayer配列と呼ばれるカラーフィルタアレイ（CFA）に基づくRAW画像のための変換である．今後は配列パターンに捉われず，またRGB3色以外の色も含むCFAに基づくRAW画像への応用も考えていく．同時に，さらなる効率的なSSTも創出していく．また，同時に生成的画像インペインティングの研究も進め，SSTへの応用を考えていく．
|
| Causes of Carryover |
新たに高性能計算機を発注していたが，年度末の繁忙期で年度内納入が間に合わなかったため，「494,484円」を持ち越すこととなった．その内の「489,500円」については，その高性能計算機（2023年4月納品済み）の購入費に充てる．また，残りの「4,984円」については2023年度予算と合算し，研究を加速するためにさらに高性能計算機を購入予定である．
|
