違和感の評価に基づく深層ニューラルネットワークを用いた画像符号化手法の開発

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K12040
• Research Institution: Ishikawa National College of Technology
• Principal Investigator: 川除 佳和 石川工業高等専門学校, 電子情報工学科, 准教授 (90552547)
• Co-Investigator(Kenkyū-buntansha): 稲積 泰宏 山梨英和大学, 人間文化学部, 准教授 (30367255)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 感性情報学 / 感性計測評価 / 画像符号化

Outline of Annual Research Achievements

膨大な画像のデータを効率的に扱うための画像符号化技術の研究が停滞しており，これを打開するべく，深層学習を用いた新しい枠組みによる符号化の研究が進められている．現在までに，現状の枠組みの数段階上の圧縮効率を達成した報告がある一方，高い圧縮効率の代償として，復号された画像には「現状の符号化では生じ得ないような強い違和感」が生じるという課題も明らかとなってきた．主観品質を大きく損なう違和感の発生を抑制するためには，符号化の設計指針となる評価基準の解明が不可欠である．
そこで本研究では，深層学習ベースによる画像符号化の枠組みに適用可能な違和感の評価器を設計し，それに基づく画像符号化手法を開発する．研究代表者等らは，違和感の要因解明と尺度化の研究を進めており，本研究ではこれを発展させ，(I)新しい画像符号化の枠組みに適用可能な違和感評価器の設計，およびこれに基づく(II)違和感の発生を抑えた画像符号化手法の開発を目指す．
補助事業期間中に明らかにする事項(A)実験データベースの構築，(B)違和感評価器の設計と検証，(C)深層学習ベースによる画像符号化技術の開発，のうち，本年度は(A)実験データベースの構築を進めた．具体的には，識別AIおよび生成AI技術の調査を行い，各5種類程度を実装した．しかしながら，実装したアルゴリズムを用いた実験画像の作成が遅延しており，現在までに作成予定数の３割を終え，残りの画像は生成中である．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本年度中に実装したアルゴリズムを用いた実験画像の作成が遅延しており，現在までに作成予定数の３割が終わっており，残りの画像は生成中である．

Strategy for Future Research Activity

データベース化した実験画像群に対し，「違和感がある-ない」という形容詞を含むSD法による主観評価実験を行い，それと同時に，視線計測装置を用いて視線データを取得し，これらの結果をデータベースに集約する．視線データの解析には，購入予定であるTobii Pro ラボ(視線解析ソフトウェア)を利用する．この検討では，生成AIが抱える現状の課題が強い違和感の発生であるという先行知見に基づき，本研究では，「背景とオブジェクト」といった領域に分割した上で，それぞれの領域を生成AIにより個別に生成すれば「違和感」を低減できるのではないかと考えている．
そこで，画像の領域分割を行い，分割された各領域に対して，(1)生成AIによる自動生成，(2)従来の画像符号化手法による画像圧縮，の2手法をいずれか適用，もしくは両方を適用した場合の画像を複数種類作成し，これらに対しても主観評価実験を行い，知見を得る．
続いて，実験データベース，実装したAI，および主観評価実験で得られた知見を用いて，違和感評価器を設計する．また，設計した評価器が違和感を正しく評価できているかを確認する．この検討には，購入予定である高速演算対応画像処理サーバを活用し，効率的に計画を遂行する予定としている．最終的には，設計・実装した違和感評価器を用いて，識別AIおよび生成AIを学習させ，DNNによる画像符号化を実現する．

Causes of Carryover

主観評価実験が予定通り進まず，そのために導入予定であったストレージ装置およびマスターモニターが導入できていない．次年度以降は主観評価実験の規模をまずは小さく開始し，状況を見ながら拡大していく予定である．それにあわせて，物品の購入を進める予定である．