| Project/Area Number |
20K11813
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60070:Information security-related
|
|---|
| Research Institution | The University of Aizu |
|---|
Principal Investigator |
Tomioka Yoichi 会津大学, コンピュータ理工学部, 上級准教授 (10574072)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2022: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
|
|---|
| Keywords | ディープフェイク / パターンノイズ / 畳み込みニューラルネットワーク / アンサンブルモデル / ニューラルネットワーク / 顔部品検出 / アンサンブル / イメージセンサノイズ / 深層学習 / 角膜 / PRNUノイズ / 周期的アーティファクト |
|---|
| Outline of Research at the Start |
本研究では，ある人物の顔を別の人物に重ねて加工するディープフェイクといった改ざん技術の対抗手段として，ディジタル動画中に存在するパターンノイズを利用して，動画の改ざんを検出する手法を確立する．パターンノイズはイメージセンサの特性やデザイン，画像処理に基づき生成される微弱なノイズである．改ざんされた動画では改ざんされた部分のパターンノイズが変化することを利用して改ざんの有無を判定することを目指す．ディープフェイク検出に有効な各パターンノイズの特徴量を動画中から抽出する手法を確立すると共に，それらを用いて改ざんの有無を検出する識別器を実現する．
|
| Outline of Final Research Achievements |
We proposed a deep metric learning model that measures the distance between pattern noises in images which is robust to different compression ratios of the images. In addition, we confirmed that the pattern noise feature is one of the effective features for deepfake detection. To further improve the accuracy of deepfake detection, we proposed convolutional neural network models that extract composite features from each part of the face. We showed that an ensemble model combining deepfake detectors specialized for each face part that can be detected from the input image can realize highly accurate deep-fake detection.
|
| Academic Significance and Societal Importance of the Research Achievements |
近年、ディープラーニングや機械学習技術に発展に伴い，ある人物の顔を別の人物に重ねて加工する「ディープフェイク」といった改ざん技術が進歩しており、フェイクニュースの拡散が危惧されている。フェイクニュースは個人のプライバシーを侵害するだけではなく、政治経済への多大な影響を及ぼすことも考えられるため、いち早くフェイクニュースを検出し、注意喚起することが必要である。本研究の成果はディープフェイク検出の精度向上やマスク等で顔の一部が隠蔽されている場合のディープフェイク検出に有効な基盤技術であり、より安心・安全な社会の実現に貢献できると期待している。
|
