多様な劣化水準に対応可能な劣化画像認識ネットワークに対するデータ拡張方法の研究

• 研究課題/領域番号: 22K21311
• 研究種目: 研究活動スタート支援
• 配分区分: 基金
• 審査区分: 1002:人間情報学、応用情報学およびその関連分野
• 研究機関: 帝京平成大学
• 研究代表者: 遠藤 和紀 帝京平成大学, 人文社会学部, 准教授 (70963338)
• 研究期間 (年度): 2022-08-31 – 2024-03-31
• 研究課題ステータス: 交付 (2022年度)
• 配分額: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円); 2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
• キーワード: 劣化画像 / データ拡張 / 画像認識

研究開始時の研究の概要

自動運転車や監視カメラ等が撮像するデジタル画像は、一般にノイズや圧縮等の何らかの劣化が含まれる劣化画像であり、劣化画像の画質も多様である。そのため、多様な画質の劣化画像を認識できる畳み込みニューラルネットワークを構築することは、画像認識ネットワークを社会実装する上で重要である。本研究では、多様な画質の劣化画像を認識する畳み込みニューラルネットワークを学習する際に有効なデータ拡張方法を提案、構築する。

研究実績の概要

令和４年度については、多様な劣化水準（画像品質を制御するパラメータ）に対応可能な劣化画像の認識ネットワークに有効なデータ拡張方法の開発を実施した。なお、令和５年度に、開発手法の検証を継続する。
交付申請書に記載した「１つの画像内に原画像や複数の劣化水準を含む領域を合成する方法」では、既存手法に対して顕著な認識精度の改善が見られなかった。そのため、申請書記載の手法や既存のデータ拡張方法が、どの劣化水準に関する劣化画像の認識精度を改善させるのかを実験的に調査した。その調査結果を踏まえ、当初想定とは異なる新たなデータ拡張方法を開発した。
新たに開発したデータ拡張方法は、現時点での検証結果を見る限り、次のような特性を有する。まず、原画像の認識精度については、原画像のみを学習した画像認識ネットワークと同水準の認識精度を示す。一方、高劣化の低画質画像については、劣化画像を既存手法であるmixed trainingにより学習した画像認識ネットワークよりも認識精度が低下する。なお、検証には、VGG16によるCIFAR10のクラス分類を行い、JPEG、Gaussian blur、Gaussian noise、Salt&pepper noiseの４種類の劣化を用いた。
高画質と低画質の認識精度の両立はやや損なわれてはいるものの、劣化画像認識に対するデータ拡張方法の先行研究は少なく、また原画像の認識精度を維持しつつ劣化画像にも対応できるデータ拡張方法は先行研究に見られないことから、今次研究結果は重要であるといえる。

現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

当初計画では、１つの画像認識CNNを用いて、劣化としてJPEGのみを検証する予定であったが、JPEG以外の劣化についても検証を実施することができたため。

今後の研究の推進方策

令和５年度においては、令和４年度と異なるCNN、異なるデータを用いた検証を実施し、開発した手法の有効性を確認する。また、国際学術論文誌への投稿を実施する予定である。