2022 Fiscal Year Final Research Report
Development of Deepfake Detection Technologies based on Image Sensor Noise
Project/Area Number |
20K11813
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 60070:Information security-related
|
Research Institution | The University of Aizu |
Principal Investigator |
Tomioka Yoichi 会津大学, コンピュータ理工学部, 上級准教授 (10574072)
|
Project Period (FY) |
2020-04-01 – 2023-03-31
|
Keywords | ディープフェイク / パターンノイズ / 畳み込みニューラルネットワーク / アンサンブルモデル |
Outline of Final Research Achievements |
We proposed a deep metric learning model that measures the distance between pattern noises in images which is robust to different compression ratios of the images. In addition, we confirmed that the pattern noise feature is one of the effective features for deepfake detection. To further improve the accuracy of deepfake detection, we proposed convolutional neural network models that extract composite features from each part of the face. We showed that an ensemble model combining deepfake detectors specialized for each face part that can be detected from the input image can realize highly accurate deep-fake detection.
|
Free Research Field |
画像認識、画像科学捜査
|
Academic Significance and Societal Importance of the Research Achievements |
近年、ディープラーニングや機械学習技術に発展に伴い,ある人物の顔を別の人物に重ねて加工する「ディープフェイク」といった改ざん技術が進歩しており、フェイクニュースの拡散が危惧されている。フェイクニュースは個人のプライバシーを侵害するだけではなく、政治経済への多大な影響を及ぼすことも考えられるため、いち早くフェイクニュースを検出し、注意喚起することが必要である。本研究の成果はディープフェイク検出の精度向上やマスク等で顔の一部が隠蔽されている場合のディープフェイク検出に有効な基盤技術であり、より安心・安全な社会の実現に貢献できると期待している。
|