|
近年，ディープラーニングや機械学習技術に発展に伴い，ある人物の顔を別の人物に重ねて加工する「ディープフェイク」といった改ざん技術が進歩しており，フェイクニュースの拡散が危惧されている．フェイクニュースは個人のプライバシーを侵害するだけではなく，政治経済への多大な影響を及ぼすことも考えられるため，いち早くフェイクニュースを検出し，注意喚起することが必要である．そこで、本研究では，イメージセンサ等の特徴を用いてディープフェイクを検出する手法確立することを目的としている。
昨年度までの研究では、カメラモデルに由来する画像中のイメージセンサーノイズやアーティファクトに基づく特徴を抽出する畳み込みニューラルネットワークを実現し、ディープフェイク検出においても有効な特徴量のひとつとなることを示した。一方、これらの特徴量だけでは十分な精度を達成することが難しいことも判明した。
これまでの検討結果を踏まえて、２０２２年度は、顔の角膜、目、鼻、口、顔全体の各部を自動検出する顔部品検出器を構築し、ディープフェイク画像と本物の画像で構成される顔部品データセットを作成した。このデータセットに基づき、顔の各部品からイメージセンサノイズ、アーティファクト、見た目の画像特徴などの複合的な特徴を抽出する畳み込みニューラルネットワークモデルを提案し、顔部品毎のディープフェイク検出精度を評価した。この結果、どの部位もディープフェイク検出に有効な特徴を有していることを明らかにした。また、入力画像から検出できた複数部位に対応する畳み込みニューラルネットワークモデルを組み合わせたアンサンブルモデルを提案し、アンサンブルモデルによりディープフェイク検出精度を向上できることを示した。
|
