Communication System for Defending against Attacks of Media Clones

2020 Fiscal Year Final Research Report

• Project/Area Number: 16H06302
• Research Category: Grant-in-Aid for Scientific Research (S)
• Allocation Type: Single-year Grants
• Research Field: Perceptual information processing
• Research Institution: Osaka University
• Principal Investigator: BABAGUCHI Noboru 大阪大学, 工学研究科, 教授 (30156541)
• Co-Investigator(Kenkyū-buntansha): 越前 功 国立情報学研究所, 情報社会相関研究系, 教授 (30462188)
• Project Period (FY): 2016-05-31 – 2021-03-31
• Keywords: 視覚メディア処理 / プライバシー保護 / フェイクメディア / メディアクローン

Outline of Final Research Achievements

Distribution of non-authentic media has become a potential threat in our daily life. Its typical examples are a fraud by voice impersonation, and DeepFake videos. It is therefore of great importance to protect the receivers of such non-authentic but skillfully fabricated replicas of authentic media, called media clones, by means of media processing technologies towards safe and reliable society. To realize a trusted communication system that can defend against attacks of media clones, this research achieves the following goals: (A) development of methods for protecting the privacy, biological, and environmental information to prevent fake information generation, (B) generating various types of media clones such as audio, visual, text, and social media derived from the fake information, (C) detection of media clones by recognizing them. (D) modeling of media clone attacks, and (E) experimental evaluation for a total system and its components.

Free Research Field

人間情報学　知覚情報処理

Academic Significance and Societal Importance of the Research Achievements

本研究は、社会問題化している「オレオレ詐欺」や「DeepFake映像」から情報の受け手を保護することに資する研究である。音声クローンの生成と認識に関して対戦型循環的実証実験のスキームを提唱し、世界的な規模のチャレンジの実現に貢献した。加えて、近年、悪い影響を与えるメディアとしてDeepFake映像（顔映像クローン）があるが、その生成と認識に関しても先進的な手法を開発した。MCは、いわゆるフェイクメディアの典型例であり、本研究が、サイバー空間と実空間における人間とフェイクメディアとの相互作用を追求する研究として極めてインパクトは大きい。