| 研究課題/領域番号 |
20K11813
|
|---|
| 研究機関 | 会津大学 |
|---|
研究代表者 |
富岡 洋一 会津大学, コンピュータ理工学部, 上級准教授 (10574072)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | ディープフェイク / イメージセンサノイズ / ニューラルネットワーク / 深層学習 |
|---|
| 研究実績の概要 |
近年，ディープラーニングや機械学習技術の発展に伴い，ある人物の顔を別の人物に重ねて加工する「ディープフェイク」といった改ざん技術が進歩しており，フェイクニュースの拡散が危惧されている．フェイクニュースは個人のプライバシーを侵害するだけではなく，政治経済への多大な影響を及ぼすことも考えられるため，いち早くフェイクニュースを検出し，注意喚起することが必要である．本研究では，イメージセンサがディジタル画像を生成する際に「撮像素子の感度ばらつき」，「イメージセンサデザイン」，「標本化と補間処理」に起因して生じるパターンノイズ特徴を組み合わせて用いて動画中の改ざんの有無を検出する手法を確立することを目指している。
本年度はパターンノイズ間の相違度を測定するために、同機種の画像間の距離が小さくなり、他機種の画像間の距離が大きくなるように、パターンノイズ特徴を抽出する手法を実現した。対象のパターンノイズとして、同機種に共通するノイズであるNon-unique artifact (NUA)を使用した。特徴抽出器は畳み込みニューラルネットワークに基づいており、Triplet Lossを用いて訓練を行うことで、適切な特徴量を抽出できることを確認した。
イメージセンサのパターンノイズは微弱な信号であり、画像圧縮によりさらにノイズが汚染されることでパターンノイズ特徴の抽出が難しくなることが知られている。既存の学習方法では、同機種の画像であっても異なるレベルで圧縮された２対の画像からは、異なる特徴を抽出してしまう傾向があった。一方、本研究では、画像圧縮による汚染を加えた疑似ノイズを生成し畳み込みニューラルネットワークの学習に用いることで、異なるレベルで圧縮された画像間の適切な相違度計算を実現した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初計画ではカメラ固有のパターンノイズであるPhoto response non-uniformity (PRNU)ノイズ特徴の抽出から始める予定であった。しかし、PRNUノイズと機種固有のパターンノイズであるNon-unique artifact (NUA)の性質を比較、解析し、NUA特徴の方がディープフェイク検出への適用範囲が広いことが判明した。このため、NUA特徴抽出から先に取り組むこととした。この結果、当初計画よりもより適用範囲が広く、汚染にも頑健なパターンノイズ特徴抽出器を実現できた。このため、研究は順調に進展していると考えている。
|
| 今後の研究の推進方策 |
2020年度に確立したNon-unique artifact (NUA)パターンノイズの特徴抽出手法に基づき、ディープフェイク検出器を構築する。ディープフェイク検出器では、動画全体を小さなパッチ画像に分割し、パッチ画像毎に改ざんされた画像か元画像かを判定することで、ディープフェイクを検出する。適切なパッチサイズを検討するとともに、NUAパターンノイズ特徴のディープフェイク検出に対する有効性を評価する。同様に、Photo response non-uniformity (PRNU)ノイズと標本化と補間処理に起因するPeriodic Interpolation Artifact (PIA)特徴量を抽出する手法を実現し、それらの有効性についても評価を行う。ディープフェイク検出器として，SVM, ニューラルネットワーク，ランダムフォレストを試し．検出精度と計算速度を評価する．
また、最近はイメージセンサノイズ以外の特徴を用いたディープフェイク検出技術も提案されている。より高精度なディープフェイク検出の実現のためには、これらの最新技術と提案技術の連携も必要となると考えられる。このため、イメージセンサノイズ以外の特徴を利用したディープフェイク検出について調査を行い、提案技術との連携の可能性についても評価を行う。
|
| 次年度使用額が生じた理由 |
新型コロナウィルスの影響で、国際会議や国内研究会がオンラインで実施され、当初の計画よりも研究発表のための支出が減ったため残額が生じた。一方、近年、イメージセンサノイズ以外の特徴を用いたディープフェイク検出技術も提案されており、より高精度のディープフェイク検出のためにこれらの技術と提案技術の連携も重要となってくると考えられる。このため、イメージセンサノイズ以外の技術と提案技術との連携可能性の調査のために、残額については2021年度の研究補助員費として使用し、より高精度のディープフェイク検出の実現を目指したい。
|
