違和感の評価に基づく深層ニューラルネットワークを用いた画像符号化手法の開発

Research Project

Project/Area Number	20K12040
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61060:Kansei informatics-related
Research Institution	Ishikawa National College of Technology
Principal Investigator	川除佳和石川工業高等専門学校, 電子情報工学科, 准教授 (90552547)
Co-Investigator(Kenkyū-buntansha)	稲積泰宏山梨英和大学, 人間文化学部, 准教授 (30367255)
Project Period (FY)	2020-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000) Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000) Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2020: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Keywords	違和感評価 / 深層学習ベース画像符号化 / 感性情報学 / 感性計測評価 / 画像符号化
Outline of Research at the Start	膨大な画像のデータを効率的に扱うための画像符号化技術の研究が停滞しており，これを打開するべく，深層学習を用いた新しい枠組みによる符号化の研究が進められている．現在までに，現状の枠組みの数段階上の圧縮効率を達成した報告がある一方，高い圧縮効率の代償として，復号された画像には「現状の符号化では生じ得ないような強い違和感」が生じるという課題も明らかとなってきた．主観品質を大きく損なう違和感の発生を抑制するためには，符号化の設計指針となる評価基準の解明が不可欠である．そこで本研究では，深層学習ベースによる画像符号化の枠組みに適用可能な違和感の評価器を設計し，それに基づく画像符号化手法を開発する．
Outline of Annual Research Achievements	2022（令和4）年度に実施した主な研究成果は次の2点，（1）画像品質の善し悪しを2クラス分類する深層学習モデルの検討，（2）深層学習ベースの画像符号化手法の基礎検討，である． (1)では．画像品質が良いか悪いかだけを2クラス分類するための深層学習モデルの構築と検証を行った．モデルの学習には，昨年度までに構築した実験画像データベースおよび一般に公開されている画像生成AIを含む大規模な画質評価実験結果をまとめたデータベースを利用した．本年度は画像品質の善し悪しのみを判別するモデルの基礎検討としたが，今回用いたデータベースには，GANベースの画像生成AIにより生成された多様な品質の超解像画像が含まれており，これらを用いることで特に画像生成AIに生じる特有の違和感の分類を目指している．（2）では，深層学習ベースの画像符号化手法の基礎検討として，ESRGANを用いた超解像符号化の枠組みを実験的に実装し，符号化性能を検証した．広く利用されているJPEG符号化手法と比較して，同程度のビットレートにおいては深層学習ベースの超解像符号化の枠組みが有効であることを確認した．この検討結果は，違和感評価尺度に基づく画像符号化手法の設計に活かすことが期待できる．
Current Status of Research Progress	Current Status of Research Progress 4: Progress in research has been delayed. Reason 当初の計画では違和感評価尺度に基づく画像符号化の設計を終えているところであるが，違和感評価尺度の学習に時間を要したため，予想以上に進捗が遅れている．
Strategy for Future Research Activity	2023（R5）年度は画像に生じる違和感の有無を判別するモデルの構築を目指すとともに，違和感の判別根拠となった箇所を可視化するための検討も行う．具体的にはGrad-CAMを用いた可視化を検討する．これらの知見に基づき，違和感の発生を極力抑えた画像符号化の枠組みを検討していく．