多様な劣化水準に対応可能な劣化画像認識ネットワークに対するデータ拡張方法の研究

Research Project

Project/Area Number	22K21311
Research Category	Grant-in-Aid for Research Activity Start-up
Allocation Type	Multi-year Fund
Review Section	1002:Human informatics, applied informatics and related fields
Research Institution	Teikyo Heisei University
Principal Investigator	遠藤和紀帝京平成大学, 人文社会学部, 准教授 (70963338)
Project Period (FY)	2022-08-31 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000) Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000) Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	劣化画像 / データ拡張 / 画像認識
Outline of Research at the Start	自動運転車や監視カメラ等が撮像するデジタル画像は、一般にノイズや圧縮等の何らかの劣化が含まれる劣化画像であり、劣化画像の画質も多様である。そのため、多様な画質の劣化画像を認識できる畳み込みニューラルネットワークを構築することは、画像認識ネットワークを社会実装する上で重要である。本研究では、多様な画質の劣化画像を認識する畳み込みニューラルネットワークを学習する際に有効なデータ拡張方法を提案、構築する。
Outline of Annual Research Achievements	令和５年度は、前年度に開発した「多様な劣化水準（画像品質を制御するパラメータ）に対応可能な劣化画像の認識ネットワークの学習に有効なデータ拡張方法」の検証を行った。多様な劣化水準に対応するためには、ネットワークの学習時に、劣化のない画像と劣化のある画像を混在させ学習を実施するのが一般的である。今次研究では、劣化のない画像と劣化のある画像のそれぞれに適用するデータ拡張方法を異なるものにすることで、劣化画像の学習に特化したデータ拡張方法を提案した。具体的には、劣化のない画像にはRandom erasing（既存手法）を適用し、劣化のある画像にはCutBlur（既存手法）を適用した。当該手法を、４つの劣化（JPEG、Gaussian noise、Gaussian blur、ごま塩ノイズ）、３つのデータセット（CIFAR10、CIFAR100、TINY ImageNet）、４種類のネットワーク（VGG16、ResNet50、ResNet56、Shake PyramidNet）を用いて検証し、高画質の認識精度を維持しつつ、劣化画像の認識を行うことができるよう学習できることを実証した。しかしながら、低画質の認識精度がやや損なわれるという課題を残した。劣化画像認識に特化したデータ拡張方法に関する先行研究は少なく、今次提案手法は、劣化のある画像と劣化のない画像の認識性能を両立を検討する上で、重要な成果であると言える。なお、当該研究成果は、令和５年度末に、Journal of Electronic Imaging（オープンアクセス）に採録済みである。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 令和５年度末に雑誌論文として採録されており、本研究における当初目的は概ね達成されているため。
Strategy for Future Research Activity	当初計画の目的は概ね達成されているものの、研究実績の概要に記載した通り、低画質の認識精度がやや損なわれるという課題がある。令和６年度は、劣化のある画像をネットワークに入力することで抽出される画像特徴量に関する分析を行い、更なる知見の獲得を目指す。