2022 Fiscal Year Annual Research Report
Fundamental Technologies for Deep Fake Detection
| Project/Area Number |
22H03640
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
山崎 俊彦 東京大学, 大学院情報理工学系研究科, 教授 (70376599)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | ディープ・フェイク / 画像生成 |
|---|
| Outline of Annual Research Achievements |
本研究では深層学習の発展に伴って大きな社会問題となりつつあるディープ・フェイク（深層学習により合成された偽の画像・映像）に対して、正しく真贋判定する技術を確立することを目標とする。これにより、悪意のあるデマや犯罪を排除し、画像・映像を安心・信頼して利用できる社会の実現をざす。2022年度は下記の研究を行った。
Self-Blended Images (SBI)法の確立：ディープ・フェイク生成技術を指定・限定することなく、汎用性を持ってディープ・フェイクを判別できる独自技術を実現した。従来技術ではフェイク生成技術ごとにそれぞれ個別の学習が必要だったり、汎用学習データの生成に膨大な計算コストがかかったりして実用的ではなかった。SBIでは1枚の画像から前景画像と背景画像を作り出し、微妙なaugmentationを施したあとにブレンドし直す事により疑似フェイク画像を生成する。本手法は難関国際会議であるCVPR2022でオーラル発表として採択されただけではなく、多くの報道で取り上げられた。
新しい画像生成技術手法の提案：GAN技術は実は不安定であるため、適用対象は人の顔など限定的なのが現状である。今後GAN技術の安定化が進めば様々なターゲットに対して生成が可能になることが想定され、事前の対策が必要である。この問題に対し、我々は独自のbalanced Consistency Regularization (bCR)という手法によりGANを安定化する手法を確立した。
どれもユニークな試みであり、いくつかの受賞があるほか、対外発表も順調に行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
ディープ・フェイクを判別できる独自技術であるSelf-Blended Images (SBI)は、難関国際会議であるCVPR2022に採択されただけでなく、新聞・テレビ・雑誌などで数多く取り上げられた。年末の報道特番で特集を受けたり、また子供向けの科学雑誌で取り上げられたりと、幅広い層に研究の意義と成果を伝えることができたと自負している。さらには、ソースコードを公開したことで我々の手法を引用した新手法がすでに複数登場してきており、当該分野に少なからぬ影響を与えることができた。
生成技術については、コンピュータビジョン系で国内最大級であるMIRU2022にて発表した。また、画像生成評価指標であるFIDにおいて、類似従来手法を大きく上回る性能を実現した。
|
| Strategy for Future Research Activity |
2023年度は、下記2つの課題に取り組む予定である。
1つ目はディープ・フェイクの検出精度を更に高めるべく、Masked Auto Encoderを用いた新手法について検討を行う。Masked Auto Encoderは自己教師あり学習と呼ばれる手法の一種で、近年の研究では優れた画像特徴表現能力を獲得できることが知られている。この手法によりより安定的な検出手法の確立を目指す。
2つ目はディープ・フェイクの新たな教師データを作るために、髪型やサングラス、マスクなど様々なオクルージョンに対応した合成画像を生成する技術について検討を行う。これまでのフェイク画像生成手法では、これらのオクルージョンには全く対応しておらず、いわば比較的平易な画像のみを扱っていた。ディープ・フェイク技術や画像生成技術が高度化していく中で、新たな教師データの生成技術は喫緊の課題の1つである。
|
