2019 Fiscal Year Annual Research Report
Communication System for Defending against Attacks of Media Clones
| Project/Area Number |
16H06302
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
馬場口 登 大阪大学, 工学研究科, 教授 (30156541)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
越前 功 国立情報学研究所, 情報社会相関研究系, 教授 (30462188)
|
|---|
| Project Period (FY) |
2016-05-31 – 2021-03-31
|
| Keywords | 視覚メディア処理 / 音声情報処理 / プライバシー・生体情報保護 / 安心で信頼されるコミュニケーション / メディアクローン / フェイクメディア / 真正性 |
|---|
| Outline of Annual Research Achievements |
（A) 年齢、性別、人種などの属性を維持しつつ、k匿名性を満たす顔のプライバシー保護処理を検討した。人物の歩行動作像に対し、RGB情報の保存やオクルージョンに頑健な匿名化を実現した。音声の匿名化については、ソースフィルター型のニューラルボコーダと話者埋め込みベクトルを組み込んだモデルによる手法を考案した。認識器クローンの構築防止法と検知法を考案した。
（B）少量かつ劣化した音声からでも音声クローンを生成するため、雑音や反響に頑健な話者エンコーダを複数話者音声合成システムに利用する方式を検討した。顔の３次元復元を利用し、入力された音声に合わせた発話顔クローンを生成するシステムを実現した。単一静止画から全身動作像クローンを実時間で生成するシステムを開発した。ソーシャルメディアにおいて特定の真正ユーザの少量の公開情報を用いた、なりすまし法を考案した。顔動画クローンの検知を防ぐために微小ノイズを重畳させる敵対的サンプル生成手法を提案した。
（C）顔動画クローンに対し、Capsule networkを用い、本物の動画と、DEEPFAKEなどにより生成された偽物の動画を判別する手法、及び判別と改ざん領域の推定を同時に行う手法を開発した。歩行動作像および手書き文書画像について、本物データとクローンデータを各々の局所形状の違いに基づき識別する手法を検討した。
（D）詐欺事例における欺瞞的コミュニケーションを対象にゲーム理論を基にした分析法を検討した。言語生成モデルを利用したフェイクレビュー投稿による脅威モデルを提案した。
（E）生体検知による音声クローン検出技術を競う国際的チャレンジ（参加登録154チーム、スコア提出51チーム）を開催し、その結果を関連国際会議で報告した。チャレンジに利用されたデータベースはオープンデータとして無償公開した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究課題は、2019年10月に進捗状況評価を受け、「A」という判定結果を得た。この評価には、研究代表者を始めとして研究に携わるすべての研究者と学生が勇気づけられている。その評価コメントに対応すべく残りの期間に全力を尽くすつもりである。
本研究課題申請時には、研究の全期間において到達すべき数値目標に論文（学術雑誌論文と国際会議論文）40編の発表出版を掲げた。４年が経過した現在、本研究費によるもので63編を著しており、目標を大幅に越える成果を出しつつある。さらに、学生分を含め20件もの受賞を受けており、本研究が対外的にも高い評価を受けている証左であろう。また、マスコミ等において、フェイク情報の拡散が大きく取り上げられており（例えば、2020年4月放送のNHK特集スペシャル・デジタルVSリアルなどで本研究関係者がコメント）、極めて時機を得たプロジェクトであったといえる。
個別の研究実績でもトップレベルの研究開発がなされ、フェイク情報化の防止、メディアクローンの生成・認識については多くの研究成果が蓄積されており、今後の研究にも資するところが大きい。加えて、研究期間中に、ポイゾニング攻撃への対抗法、認識器クローンなど、新たな研究課題も見出し、研究テーマ自身の広範性が証明されたと考えている。2019 年11月に開かれたAPSIPA ASC 2019（Lanzhou, China）のspecial session「Deep Generative Models for Media Clones and Its Detection」を連携研究者がオーガナイザーとなって実施し、本研究の世界に向けての情報発信に貢献した。従って、種々の面で本研究は当初目標以上に研究が進展していると自己評価する。
|
| Strategy for Future Research Activity |
次年度が最終年度であることを踏まえ、研究の総まとめ段階に入り、研究成果（論文のみならず実験用データベース）の公表に重点を置き、研究で得られた知見を体系化していく。テーマごとに残された課題を以下に示す。
(A)プライバシー情報・生体情報の保護によるフェイク情報化の防止：物理・サイバー空間でプライバシー情報や生体情報などのフェイク情報化防止法を引き続き考究し、本研究で提案した各手法の完成度を高め、綿密な性能評価を実施する。同時に、保護処理の対象となる情報・データに対して、ハンドリング上の注意点、相違点、共通点を見出し、保護手法の体系化を図る。また、真正のメディア認識器の機能を不正に複製する認識器クローンの作製防止法を考察する。
(B)メディアクローンの生成：種々のメディア（音声・顔画像・身体像・文書・ソーシャルメディア）のクローン生成法の具体化と評価を行う。手法の上では、異種メディア情報の統合、少量訓練データでの学習、多視点画像の利用、転移学習などの適用を試み、メディアクローン生成品質の向上を図る。
(C)メディアクローンの認識：発話顔画像からクローン領域をピクセル単位で検出する手法、手書き文書画像とそのクローンの性質の違いによる文書識別法、映像を対象に、物体除去や物体修正など広範な種類の改ざんの検出法、などを検討する。
(D)コミュニケーションモデル：欺瞞的コミュニケーションの数理モデリングにチャネル理論、ゲーム理論、圏論などの適用を試みる。加えて、多様なメディアクローン攻撃を対象にモデリングを進めるとともに、倫理的・法的・社会的問題(ELSI)としての考察を深める。
(E)実証実験評価：音声に関する循環的チャレンジ（生成と認識の競争的性能評価）を研究コミュニティに浸透・定着させる。音声データベース、発話顔映像データベース、改ざん動画データベースを順次公開していく。
|
| Remarks |
2019年4月～2020年3月の間に、本課題に関する22件の取材協力と、5件の受賞がある。
|
