多様な劣化水準に対応可能な劣化画像認識ネットワークに対するデータ拡張方法の研究

• Project/Area Number: 22K21311
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1002:Human informatics, applied informatics and related fields
• Research Institution: Teikyo Heisei University
• Principal Investigator: 遠藤 和紀 帝京平成大学, 人文社会学部, 准教授 (70963338)
• Project Period (FY): 2022-08-31 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000); Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: 劣化画像 / データ拡張 / 画像認識

Outline of Research at the Start

自動運転車や監視カメラ等が撮像するデジタル画像は、一般にノイズや圧縮等の何らかの劣化が含まれる劣化画像であり、劣化画像の画質も多様である。そのため、多様な画質の劣化画像を認識できる畳み込みニューラルネットワークを構築することは、画像認識ネットワークを社会実装する上で重要である。本研究では、多様な画質の劣化画像を認識する畳み込みニューラルネットワークを学習する際に有効なデータ拡張方法を提案、構築する。

Outline of Annual Research Achievements

令和４年度については、多様な劣化水準（画像品質を制御するパラメータ）に対応可能な劣化画像の認識ネットワークに有効なデータ拡張方法の開発を実施した。なお、令和５年度に、開発手法の検証を継続する。
交付申請書に記載した「１つの画像内に原画像や複数の劣化水準を含む領域を合成する方法」では、既存手法に対して顕著な認識精度の改善が見られなかった。そのため、申請書記載の手法や既存のデータ拡張方法が、どの劣化水準に関する劣化画像の認識精度を改善させるのかを実験的に調査した。その調査結果を踏まえ、当初想定とは異なる新たなデータ拡張方法を開発した。
新たに開発したデータ拡張方法は、現時点での検証結果を見る限り、次のような特性を有する。まず、原画像の認識精度については、原画像のみを学習した画像認識ネットワークと同水準の認識精度を示す。一方、高劣化の低画質画像については、劣化画像を既存手法であるmixed trainingにより学習した画像認識ネットワークよりも認識精度が低下する。なお、検証には、VGG16によるCIFAR10のクラス分類を行い、JPEG、Gaussian blur、Gaussian noise、Salt&pepper noiseの４種類の劣化を用いた。
高画質と低画質の認識精度の両立はやや損なわれてはいるものの、劣化画像認識に対するデータ拡張方法の先行研究は少なく、また原画像の認識精度を維持しつつ劣化画像にも対応できるデータ拡張方法は先行研究に見られないことから、今次研究結果は重要であるといえる。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初計画では、１つの画像認識CNNを用いて、劣化としてJPEGのみを検証する予定であったが、JPEG以外の劣化についても検証を実施することができたため。

Strategy for Future Research Activity

令和５年度においては、令和４年度と異なるCNN、異なるデータを用いた検証を実施し、開発した手法の有効性を確認する。また、国際学術論文誌への投稿を実施する予定である。