2021 Fiscal Year Research-status Report

Development of Deepfake Detection Technologies based on Image Sensor Noise

Research Project

Project/Area Number	20K11813
Research Institution	The University of Aizu
Principal Investigator	富岡洋一会津大学, コンピュータ理工学部, 上級准教授 (10574072)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	ディープフェイク / イメージセンサノイズ / ニューラルネットワーク / 深層学習 / 角膜
Outline of Annual Research Achievements	近年、ディープラーニングや機械学習技術の発展に伴い、ある人物の顔を別の人物に重ねて加工する「ディープフェイク」といった改ざん技術が進歩しており、フェイクニュースの拡散が危惧されている。フェイクニュースは個人のプライバシーを侵害するだけではなく，政治経済への多大な影響を及ぼすことも考えられるため、いち早くフェイクニュースを検出し，注意喚起することが必要である。本研究では、イメージセンサがディジタル画像を生成する際に「撮像素子の感度ばらつき」、「イメージセンサデザイン」、「標本化と補間処理」等に起因して生じるパターンノイズ特徴を組み合わせて用いて動画中の改ざんの有無を検出する手法を確立することを目指している。本年度は昨年度提案したパターンノイズ間の相違度を測定する手法をディープフェイク動画と実動画に適用し、ディープフェイク検出器を構築、評価した。この結果、パターンノイズはディープフェイク検出のための特徴として有効ではあるが、パターンノイズだけでは十分な精度を達成することが困難であり、パターンノイズとそれ以外の特徴を組み合わせて用いることが必要であることが明らかとなった。既存のディープフェイク検出手法として、左右の角膜の鏡面ハイライトの不整合を利用してディープフェイクを検出する手法が提案されている。しかし、実画像であっても鏡面ハイライトが不明確であったり、ディープフェイク画像であっても鏡面ハイライトに不整合が生じない画像もある。そこで、我々は角膜全体から見た目やパターンノイズ等に起因するより多くの特徴を利用すべく角膜に着目した特徴抽出器を構築した。この結果、より高い精度でディープフェイク検出を実現できることを確認した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 様々な特徴を組み合わせることで目標としていたディープフェイク検出器の構築、評価まで達成したため研究は概ね順調に進展していると考えている。
Strategy for Future Research Activity	最終年度はより高精度のディープフェイク検出器の実現を目標に研究に取り組む。当初計画では、パターンノイズの種類毎にディープフェイク検出器を構築し、それらのアンサンブル学習により精度を向上することを計画していた。一方、今年度の研究成果より、パターンノイズと見た目の特徴を総合的に用いることが有効であることが判明している。また、ディープフェイクでは、顔全体だけではなく、顔の一部のみ改竄されることも多い。この場合、パターンノイズも改善された部位のみ変化するため、角膜、鼻、口といった各部位に着目したディープフェイク検出が有効と考えられる。そこで、部位毎にディープフェイク画像の品質、Photo Response Non-Uniformity (PRNU), Non-Unique Artifact (NUA), Periodic Interpolation Artifact (PIA)といった各種パターンノイズの抽出のし易さについて解析し、ディープフェイク検出に適した部位について明らかにする。また、各部位に基づきディープフェイクを検出する分類器を構築、評価する。評価結果に基づき、ディープフェイク検出に有効な分類器を選択し、それらのアンサンブル学習により、高精度のディープフェイク検出を実現することを狙う。
Causes of Carryover	提案手法のより詳細な評価のために時間を要したため、本年度予定していた研究成果の発表を次年度に延期した。現在は６月締め切りの国際会議に投稿するために準備を進めている。このため、次年度使用額が生じた。当該助成金については、この国際会議の旅費として使用する予定だが、国際会議がオンラインでの発表となった場合には、研究を効率的に進めるためにプログラム開発のための謝金として使用することを計画している。