画像の解像度変換により生じる違和感の視線計測による要因解明と評価システムの開発

2019 Fiscal Year Research-status Report

• Project/Area Number: 17K12770
• Research Institution: Ishikawa National College of Technology
• Principal Investigator: 川除 佳和 石川工業高等専門学校, 電子情報工学科, 准教授 (90552547)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: 違和感評価 / 客観評価システム / 視線計測 / 解像度変感

Outline of Annual Research Achievements

イメージリターゲッティング（以下，IR）は，違和感の発生を抑えた解像度・アスペクト比の変換を目的とした画像変換技術であり，ディスプレイの多様化に伴いその必要性が高まっている．適切な変換が行えた場合のIRの性能は高く，ほぼ違和感なく変換できる一方で，絵柄によっては「多大な違和感を生じさせる不適切な変換」が生じる致命的な欠点がある．この解決には違和感の定量的評価に基づき設計・改良を行うことが不可欠となるが，違和感評価は主観に頼らざるを得ないのが現状で時間・労力の制約が大きい．
そこで本研究では，画像の解像度変換により生じる違和感の要因を視線計測を用いて解明するとともに違和感評価システムを開発し，IR研究のサポート基盤確立を目指す．
昨年度までに，(1)IR画像に対する主観評価実験（違和感評価および視線計測），(2)得られた知見に基いた画像特徴量と違和感の関連性調査，を実施してきた．本年度はこれらの知見を活かして，画像に生じる違和感をコンピュータにより評価するシステムを開発した．具体的には深層学習による物体検出手法を用いて，解像度変換前後の画像において物体検出率の変化量から違和感を推定するシステムを構築した．絵柄依存性はあるもののある特定の絵柄だけに閉じればある程度の推定性能を有することを確認した．次年度は引き続き「視覚的重要度マップの自動生成」に開発したシステムを応用・性能検証を進める予定である．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

違和感をコンピュータにより評価するシステムの開発において，コンピュータ端末上のディスプレイだけではなくタブレット端末上においても主観評価実験を行ったほうがよりよい成果が得られることが明らかとなってきた．そのため，追加の主観評価実験を行う必要が生じ，後に続く「視覚的重要度マップの自動生成」対して開発したシステムを応用・性能検証することが遅れている．

Strategy for Future Research Activity

タブレット端末に表示されたIR画像に対する主観評価実験（違和感評価および視線計測）を実施し，得られた知見を用いて「視覚的重要度マップの自動生成」対して開発したシステムを応用・性能検証する．

Causes of Carryover

ダブレット端末上に表示されたIR画像に対する追加の主観評価実験のため，タブレット端末固定用のスタンドを購入するために未使用の経費分を繰り越す形となった．令和2年度は，タブレット端末固定用のスタンドおよび高速演算対応画像処理サーバを導入し研究を遂行する．