違和感の評価に基づく深層ニューラルネットワークを用いた画像符号化手法の開発

2022 Fiscal Year Research-status Report

• Project/Area Number: 20K12040
• Research Institution: Ishikawa National College of Technology
• Principal Investigator: 川除 佳和 石川工業高等専門学校, 電子情報工学科, 准教授 (90552547)
• Co-Investigator(Kenkyū-buntansha): 稲積 泰宏 山梨英和大学, 人間文化学部, 准教授 (30367255)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 違和感評価 / 深層学習ベース画像符号化

Outline of Annual Research Achievements

2022（令和4）年度に実施した主な研究成果は次の2点，（1）画像品質の善し悪しを2クラス分類する深層学習モデルの検討，（2）深層学習ベースの画像符号化手法の基礎検討，である．
(1)では．画像品質が良いか悪いかだけを2クラス分類するための深層学習モデルの構築と検証を行った．モデルの学習には，昨年度までに構築した実験画像データベースおよび一般に公開されている画像生成AIを含む大規模な画質評価実験結果をまとめたデータベースを利用した．本年度は画像品質の善し悪しのみを判別するモデルの基礎検討としたが，今回用いたデータベースには，GANベースの画像生成AIにより生成された多様な品質の超解像画像が含まれており，これらを用いることで特に画像生成AIに生じる特有の違和感の分類を目指している．
（2）では，深層学習ベースの画像符号化手法の基礎検討として，ESRGANを用いた超解像符号化の枠組みを実験的に実装し，符号化性能を検証した．広く利用されているJPEG符号化手法と比較して，同程度のビットレートにおいては深層学習ベースの超解像符号化の枠組みが有効であることを確認した．この検討結果は，違和感評価尺度に基づく画像符号化手法の設計に活かすことが期待できる．

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

当初の計画では違和感評価尺度に基づく画像符号化の設計を終えているところであるが，違和感評価尺度の学習に時間を要したため，予想以上に進捗が遅れている．

Strategy for Future Research Activity

2023（R5）年度は画像に生じる違和感の有無を判別するモデルの構築を目指すとともに，違和感の判別根拠となった箇所を可視化するための検討も行う．具体的にはGrad-CAMを用いた可視化を検討する．これらの知見に基づき，違和感の発生を極力抑えた画像符号化の枠組みを検討していく．

Causes of Carryover

研究計画が遅れており，研究分担者の研究室で実施予定であった主観評価実験が行えておらず，必要物品を購入できていないため．