メディアクローン攻撃を防御するコミュニケーション系

2020 年度 実績報告書

• 研究課題/領域番号: 16H06302
• 研究機関: 大阪大学
• 研究代表者: 馬場口 登 大阪大学, 工学研究科, 教授 (30156541)
• 研究分担者: 越前 功 国立情報学研究所, 情報社会相関研究系, 教授 (30462188)
• 研究期間 (年度): 2016-05-31 – 2021-03-31
• キーワード: 視聴覚メディア処理 / プライバシー保護 / フェイクメディア / メディアクローン

研究実績の概要

本年度は、研究期間の最終年度であるため、個々の課題の追求と共に、研究成果の総括、体系化を行った。
（A)物理空間とサイバー空間の両方でプライバシー情報、生体情報・環境情報などのフェイク情報化防止法を考察し、これまでの研究成果、すなわち顔や人物像など外観の匿名化、行動履歴など内心の保護、指紋や静脈パターンの保護に関する諸手法の得失などを考察し、招待論文として出版した。
（B）音声・顔画像・身体像・文書・ソーシャルメディアのクローン生成方法の具体化と、真正メディアへの類似限界について検討し、メディアごとの特性に応じて洗練化した。特にニューラルコンピューティング（深層学習やGAN）の利用により、各メディアのクローン生成法の向上を図った。
（C）メディアクローン認識による情報の受け手の保護方式を検討した。音声、顔画像、身体像、文書（文字）、ソーシャルメディアなどの真正メディアとクローンとの識別法を検討した。特に、世界に先んじて開発した顔映像クローンの検出法では、マルチタスク学習と半教師付き学習を導入して顔映像クローンの画像フレームにおいて、どの領域が改ざん、加工されたかを検出する方法を具体化した。本課題の研究途上で新たに浮かび上がった課題である認識器クローンに関する考察も深化させた。テーマ（B）（C）に関する成果も招待論文で発表した。
（D）文書によるメディアクローン攻撃について検討し、ビジネスメール詐欺を対象とした研究を行った。受け手から送り手への問合せを含む欺瞞的コミュニケーションプロセスのモデル化を数理論理の枠組で試みた。
（E）音声クローンの生成と認識（検出）に関する対戦型循環的実証実験（国際的チャレンジASVspoof2019、VCC2020）を開催し、その結果を関連国際会議で報告した。チャレンジに利用されたデータベースはオープンデータとして無償公開した。

現在までの達成度 (段落)

令和2年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和2年度が最終年度であるため、記入しない。

備考

本研究課題「メディアクローン攻撃を防御するコミュニケーション系」の公式Webサイト：http://www2c.comm.eng.osaka-u.ac.jp/proj/mc/index.html (2021年4月26日現在2493アクセス)
2020年4月～2021年3月の間に、本研究課題に関する20件の取材協力と、2件の受賞がある。

研究成果

• [雑誌論文] Investigation of learning abilities on linguistic features in sequence-to-sequence text-to-speech synthesis (2021)
  • 著者名/発表者名: Yusuke Yasuda, Xin Wang, and Junichi Yamagishi
  • 雑誌名: Computer Speech & Language 巻: 67 ページ: 18pages
  • DOI: 10.1016/j.csl.2020.101183
  • 査読あり / オープンアクセス
• [雑誌論文] Model inversion attack: analysis under gray-box scenario on deep learning based face recognition system (2021)
  • 著者名/発表者名: Mahdi Khosravy, Kazuaki Nakamura, Yuki Hirose, Naoko Nitta, and Noboru Babaguchi
  • 雑誌名: KSII Transactions on Internet and Information Systems 巻: 15 ページ: 1100-1118
  • DOI: 10.3837/tiis.2021.03.015
  • 査読あり / オープンアクセス
• [雑誌論文] 画像認識サービスの悪用とその対処法に関する基礎検討（解説） (2021)
  • 著者名/発表者名: 中村和晃, 新田直子, 馬場口登
  • 雑誌名: 画像ラボ 巻: 32 ページ: 27-38
• [雑誌論文] Generation and detection of media clones (2021)
  • 著者名/発表者名: Isao Echizen, Noboru Babaguchi, Junichi Yamagichi, Naoko Nitta, Yuta Nakashima, Kazuaki Nakamura, Kazuhiro Kono, Fuming Fang, Seiko Myojin, Zhenzhong Kuang, Huy H. Nguyen, and Ngoc-Dung T. Tieu
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E104.D ページ: 12-23
  • DOI: 10.1587/transinf.2020MUI0002
  • 査読あり / オープンアクセス
• [雑誌論文] Preventing fake information generation against media clone attacks (2021)
  • 著者名/発表者名: Noboru Babaguchi, Isao Echizen, Junichi Yamagichi, Naoko Nitta, Yuta Nakashima, Kazuaki Nakamura, Kazuhiro Kono, Fuming Fang, Seiko Myojin, Zhenzhong Kuang, Huy H. Nguyen, and Ngoc-Dung T. Tieu
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E104.D ページ: 2-11
  • DOI: 10.1587/transinf.2020MUI0001
  • 査読あり / オープンアクセス
• [雑誌論文] ASVspoof 2019: a large-scale public database of synthesized, converted and replayed speech (2020)
  • 著者名/発表者名: Xin Wang, Junichi Yamagishi, Massimiliano Todisco, Hector Delgado, Andreas Nautsch, Nicholas Evans, Md Sahidullah, Ville Vestman, Tomi Kinnunen, Kong Aik Lee, Lauri Juvela, Paavo Alku, Yu-Huai Peng, Hsin-Te Hwang, Yu Tsao, Hsin-Min Wang, Sebastien Le Maguer, Markus Becker, Fergus Henderson他計40名
  • 雑誌名: Computer Speech & Language 巻: 64 ページ: 27pages
  • DOI: 10.1016/j.csl.2020.101114
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] NAUTILUS: a versatile voice cloning system (2020)
  • 著者名/発表者名: Hieu-Thi Luong and Junichi Yamagishi
  • 雑誌名: IEEE/ACM Transactions on Audio, Speech, and Language Processing 巻: 28 ページ: 2967-2981
  • DOI: 10.1109/TASLP.2020.3034994
  • 査読あり / オープンアクセス
• [雑誌論文] A logical consideration on fraudulent email communication (2020)
  • 著者名/発表者名: Seiko Myojin and Noboru Babaguchi
  • 雑誌名: Artificial Life and Robotics 巻: 25 ページ: 475-481
  • DOI: 10.1007/s10015-020-00597-4
  • 査読あり
• [雑誌論文] Modeling of rakugo speech and its limitations: toward speech synthesis that entertains audiences (2020)
  • 著者名/発表者名: Shuhei Kato, Yusuke Yasuda, Xin Wang, Erica Cooper, Shinji Takaki, and Junichi Yamagishi
  • 雑誌名: IEEE Access 巻: 8 ページ: 138149-138161
  • DOI: 10.1109/ACCESS.2020.3011975
  • 査読あり / オープンアクセス
• [雑誌論文] Constructing geospatial concept graphs from tagged images for geo-aware fine-grained image recognition (2020)
  • 著者名/発表者名: Naoko Nitta, Kazuaki Nakamura, and Noboru Babaguchi
  • 雑誌名: ISPRS International Journal of Geo-Information 巻: 9 ページ: 23pages
  • DOI: 10.3390/ijgi9060354
  • 査読あり / オープンアクセス
• [学会発表] Reinforcement learning based smart data agent for location privacy (2021)
  • 著者名/発表者名: Harkeerat Kaur, Rohit Kumar, and Isao Echizen
  • 学会等名: The 35th International Conference on Advanced Information Networking and Applications (AINA2021)
  • 国際学会
• [学会発表] Real or fake? the future of media security and privacy (2021)
  • 著者名/発表者名: Isao Echizen
  • 学会等名: Symposium of Yotta Informatics, Research Platform for Yotta-Scale Data Science 2021
  • 国際学会 / 招待講演
• [学会発表] Real or fake? the future of media security and privacy (2021)
  • 著者名/発表者名: Isao Echizen, Junichi Yamagishi, Trung-Nghia Le, and Huy H. Nguyen
  • 学会等名: The 7th International Symposium toward the Future of Advanced Researches in Shizuoka University 2021 (ISFAR-SU2021)
  • 国際学会 / 招待講演
• [学会発表] REALそれともFAKE (2021)
  • 著者名/発表者名: 馬場口登
  • 学会等名: 電子情報通信学会マルチメディア情報ハイディング・エンリッチメント（EMM）研究会
  • 招待講演
• [学会発表] 構造未知の画像認識器に対するModel Inversion Attackの検討 (2021)
  • 著者名/発表者名: 吉村駿佑, 中村和晃, 新田直子, 馬場口登
  • 学会等名: 電子情報通信学会2021年総合大会
• [学会発表] 画像の印象操作のためのオブジェクトの外観変換 (2021)
  • 著者名/発表者名: 内田祐生, 新田直子, 中村和晃, 馬場口登
  • 学会等名: 電子情報通信学会2021年総合大会
• [学会発表] 敵対的生成ネットワークによる映像改ざん検出法の改良 (2021)
  • 著者名/発表者名: 大迫勇太郎, 河野和宏, 馬場口登
  • 学会等名: 電子情報通信学会マルチメディア情報ハイディング・エンリッチメント（EMM）研究会
• [学会発表] GAN識別器のアンサンブル学習による真正画像とクローン画像の識別 (2021)
  • 著者名/発表者名: 濱崎直紀, 中村和晃, 新田直子, 馬場口登
  • 学会等名: 電子情報通信学会パターン認識・メディア理解（PRMU）研究会
• [学会発表] 概念間類似度に基づく知識グラフを用いた詳細画像認識 (2021)
  • 著者名/発表者名: 鎌田和博, 新田直子, 中村和晃, 馬場口登
  • 学会等名: 電子情報通信学会パターン認識・メディア理解（PRMU）研究会
• [学会発表] 半教師あり学習による非視覚センサ値を用いた時間軸をもつ画像列生成 (2021)
  • 著者名/発表者名: 川上蒼太, 岡田渓, 新田直子, 中村和晃, 馬場口登
  • 学会等名: 電子情報通信学会パターン認識・メディア理解（PRMU）研究会
• [学会発表] Real or fake? the future of biometric data protection (2021)
  • 著者名/発表者名: Isao Echizen
  • 学会等名: The 2nd Asia Service Sciences and Software Engineering Conference (ASSE2021)
  • 国際学会 / 招待講演
• [学会発表] Semi-supervised outdoor image generation conditioned on weather signals (2021)
  • 著者名/発表者名: Sota Kawakami, Kei Okada, Naoko Nitta, Kazuaki Nakamura, and Noboru Babaguchi
  • 学会等名: International Conference on Pattern Recognition (ICPR2021)
  • 国際学会
• [学会発表] Enhancing low-quality voice recordings using disentangled channel factor and neural waveform model (2021)
  • 著者名/発表者名: Haoyu Li, Yang Ai, and Junichi Yamagishi
  • 学会等名: 2021 IEEE Spoken Language Technology Workshop (SLT2021)
  • 国際学会
• [学会発表] Denoising-and-dereverberation hierarchical neural vocoder for robust waveform generation (2021)
  • 著者名/発表者名: Yang Ai, Haoyu Li, Xin Wang, Junichi Yamagish, and Zhenhua Ling
  • 学会等名: 2021 IEEE Spoken Language Technology Workshop (SLT2021)
  • 国際学会
• [学会発表] Smart data agent for preserving location privacy (2020)
  • 著者名/発表者名: Harkeerat Kaur, Isao Echizen, and Rohit Kumar
  • 学会等名: 2020 IEEE Symposium Series on Computational Intelligence (SSCI2020)
  • 国際学会
• [学会発表] A QR symbol with ECDSA for both public and secret areas using rhombic sub-cells (2020)
  • 著者名/発表者名: Nobuyuki Teraura, Isao Echizen, and Keiichi Iwamura
  • 学会等名: The 12th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC2020)
  • 国際学会
• [学会発表] Detection of adversarial examples based on sensitivities to noise removal filter (2020)
  • 著者名/発表者名: Akinori Higashi, Minoru Kuribayashi, Nobuo Funabiki, Huy H. Nguyen, and Isao Echizen
  • 学会等名: The 12th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC2020)
  • 国際学会
• [学会発表] Deep face recognizer privacy attack: model inversion initialization by a deep generative adversarial data space discriminator (2020)
  • 著者名/発表者名: Mahdi Khosravy, Kazuaki Nakamura, Naoko Nitta, and Noboru Babaguchi
  • 学会等名: The 12th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC2020)
  • 国際学会
• [学会発表] Detection of cloned recognizers: a defending method against recognizer cloning attack (2020)
  • 著者名/発表者名: Yuto Mori, Kazuaki Nakamura, Naoko Nitta, and Noboru Babaguchi
  • 学会等名: The 12th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC2020)
  • 国際学会
• [学会発表] A method for identifying origin of digital images using a convolution neural network (2020)
  • 著者名/発表者名: Rong Huang, Fuming Fang, Huy H. Nguyen, Junichi Yamagishi, and Isao Echizen
  • 学会等名: The 12th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC2020)
  • 国際学会
• [学会発表] Color transfer to anonymized gait images while maintaining anonymization (2020)
  • 著者名/発表者名: Ngoc-Dung T. Tieu, Junichi Yamagishi, and Isao Echizen
  • 学会等名: The 12th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC2020)
  • 国際学会
• [学会発表] 概念間の視覚的類似度を用いた少量の事例画像による効率的な画像認識器の学習 (2020)
  • 著者名/発表者名: 鎌田和博, 新田直子, 中村和晃, 馬場口登
  • 学会等名: 映像情報メディア学会創立70周年記念大会
• [学会発表] DCGANベース顔生成器を対象としたシードベクトル推定に基づく実写顔画像と生成顔画像の判定 (2020)
  • 著者名/発表者名: 廣瀬雄基, 春木佑太, 中村和晃, 新田直子, 馬場口登
  • 学会等名: 映像情報メディア学会創立70周年記念大会
• [学会発表] GANにより訓練した識別器のバギングによる手書き文字画像とコンピュータ生成文字画像の識別 (2020)
  • 著者名/発表者名: 濱崎直紀, 中村和晃, 新田直子, 馬場口登
  • 学会等名: 映像情報メディア学会創立70周年記念大会
• [学会発表] Real or Fake? ～メディアセキュリティ・プライバシーのこれから～ (2020)
  • 著者名/発表者名: 越前功
  • 学会等名: Line Developer Day 2020
  • 招待講演
• [学会発表] 深層生成モデルによるメディア生成とフェイク検知 (2020)
  • 著者名/発表者名: 山岸順一
  • 学会等名: 第23回情報論的学習理論ワークショップ (IBIS2020) 企画セッション講演
  • 招待講演
• [学会発表] 画像認識・生成へのソーシャルメディアの活用 (2020)
  • 著者名/発表者名: 新田直子
  • 学会等名: 電気関係学会関西連合大会
  • 招待講演
• [学会発表] 人と人型メディアの同一性について (2020)
  • 著者名/発表者名: 明神聖子, 馬場口登
  • 学会等名: 計測自動制御学会システム・情報部門学術講演会2020（SSI2020）
• [学会発表] Voice conversion challenge 2020: intra-lingual semi-parallel and cross-lingual voice conversion (2020)
  • 著者名/発表者名: Yi Zhao, Wen-Chin Huang, Xiaohai Tian, Junichi Yamagishi, Rohan Kumar Das, Tomi Kinnunen, Zhenhua Ling, and Tomoki Toda
  • 学会等名: ISCA Joint Workshop for the Blizzard Challenge and Voice Conversion Challenge 2020
  • 国際学会
• [学会発表] Predictions of subjective ratings and spoofing assessments of voice conversion challenge 2020 submissions (2020)
  • 著者名/発表者名: Rohan Kumar Das, Tomi Kinnunen, Wen-Chin Huang, Zhenhua Ling, Junichi Yamagishi, Yi Zhao, Xiaohai Tian, and Tomoki Toda
  • 学会等名: ISCA Joint Workshop for the Blizzard Challenge and Voice Conversion Challenge 2020
  • 国際学会
• [学会発表] Latent linguistic embedding for cross-lingual text-to-speech and voice conversion (2020)
  • 著者名/発表者名: Hieu-Thi Luong and Junichi Yamagishi
  • 学会等名: ISCA Joint Workshop for the Blizzard Challenge and Voice Conversion Challenge 2020
  • 国際学会
• [学会発表] Viable threat on news reading: generating biased news using natural language models (2020)
  • 著者名/発表者名: Saurabh Gupta, Hong Huy Nguyen, Junichi Yamagishi, and Isao Echizen
  • 学会等名: The 4th workshop on natural language processing (NLP) and computational social science (CSS) at EMNLP 2020
  • 国際学会
• [学会発表] iMetricGAN: intelligibility enhancement for speech-in-noise using generative adversarial network-based metric learning (2020)
  • 著者名/発表者名: Haoyu Li, Szu-Wei Fu, Yu Tsao, and Junichi Yamagishi
  • 学会等名: Interspeech 2020
  • 国際学会
• [学会発表] Usingcyclic noise as the source signal for neural source-filter-based speech waveform model (2020)
  • 著者名/発表者名: Xin Wang and Junichi Yamagishi
  • 学会等名: Interspeech 2020
  • 国際学会
• [学会発表] Noise tokens: learning neural noise templates for environment-aware speech enhancement (2020)
  • 著者名/発表者名: Li Haoyu and Junichi Yamagishi
  • 学会等名: Interspeech 2020
  • 国際学会
• [学会発表] Can speaker augmentation improve multi-speaker end-to-end TTS? (2020)
  • 著者名/発表者名: Erica Cooper, Cheng-I Lai, Yusuke Yasuda, and Junichi Yamagishi
  • 学会等名: Interspeech 2020
  • 国際学会
• [学会発表] Reverberation modeling for source-filter-based neural vocoder (2020)
  • 著者名/発表者名: Yang Ai, Xin Wang, Junichi Yamagishi, and Zhen-Hua Ling
  • 学会等名: Interspeech 2020
  • 国際学会
• [学会発表] Improved prosody from learned F0 codebook representations for VQ-VAE speech waveform reconstruction (2020)
  • 著者名/発表者名: Yi Zhao, Haoyu Li, Cheng-I Lai, Jennifer Williams, Erica Cooper, and Junichi Yamagishi
  • 学会等名: Interspeech 2020
  • 国際学会
• [学会発表] Security of facial forensics models against adversarial attacks (2020)
  • 著者名/発表者名: Rong Huang, Fuming Fang, Huy H. Nguyen, Junichi Yamagishi, and Isao Echizen
  • 学会等名: IEEE International Conference on Image Processing (ICIP2020)
  • 国際学会
• [学会発表] 現実世界とサイバー空間の境界で生体情報を守るには～メディアセキュリティ・プライバシーのこれから～ (2020)
  • 著者名/発表者名: 越前功
  • 学会等名: 情報処理学会 連続セミナー 人工知能技術と人間の思考・感性
  • 招待講演
• [学会発表] 落語音声合成は人間の落語家にどれだけ迫れるのか？ (2020)
  • 著者名/発表者名: 加藤集平, 安田裕介, Xin Wang, Erica Cooper, 山岸順一
  • 学会等名: 情報処理学会音声言語情報処理研究会
• [学会発表] Generating master faces for use in performing wolf attacks on face recognition systems (2020)
  • 著者名/発表者名: Huy H. Nguyen, Junichi Yamagishi, Isao Echizen, and Sebastien Marcel
  • 学会等名: International Joint Conference On Biometrics (IJCB2020)
  • 国際学会
• [学会発表] Semantic structurization of geotagged tweets for real-world information retrieval (2020)
  • 著者名/発表者名: Jeongwoo Lim, Naoko Nitta, Kazuaki Nakamura, and Noboru Babaguchi
  • 学会等名: 電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎（MVE）研究会
• [学会発表] シルエット変化に基づく歩容動画の匿名化 (2020)
  • 著者名/発表者名: 廣瀬雄基, 中村和晃, 新田直子, 馬場口登
  • 学会等名: 第23回画像の認識・理解シンポジウム（MIRU2020）
• [学会発表] 半教師あり学習による非視覚センサ値を用いた画像生成 (2020)
  • 著者名/発表者名: 川上蒼太, 岡田渓, 新田直子, 中村和晃, 馬場口登
  • 学会等名: 第23回画像の認識・理解シンポジウム（MIRU2020）
• [学会発表] Neural auto-regressive, source-filter and glottal vocoders for speech and music signals (2020)
  • 著者名/発表者名: Junichi Yamagishi and Xin Wang
  • 学会等名: 2020 Speech Processing Courses in Crete: Neural approaches for speech enhancement, synthesis, and coding
  • 国際学会 / 招待講演
• [学会発表] Improved non-adaptive algorithms for threshold group testing with a gap (2020)
  • 著者名/発表者名: Thach V. Bui, Mahdi Cheraghchi, and Isao Echizen
  • 学会等名: 2020 IEEE International Symposium on Information Theory (ISIT2020)
  • 国際学会
• [学会発表] 画像認識モデルからの情報流出の可能性とその対処法に関する検討 (2020)
  • 著者名/発表者名: 中村和晃, 森勇登, 廣瀬雄基, Mahdi Khosravy, 新田直子, 馬場口登
  • 学会等名: 第26回画像センシングシンポジウム (SSII2020)
  • 招待講演
• [学会発表] An assessment study of gait biometric recognition using machine learning (2020)
  • 著者名/発表者名: Abdullah Mohmand, Munish Sabharwal, and Isao Echizen
  • 学会等名: International Conference on Advanced Machine Learning Technologies and Applications (AMLTA2020)
  • 国際学会
• [学会発表] Zero-shot multi-speaker text-to-speech with state-of-the-art neural speaker embeddings (2020)
  • 著者名/発表者名: Erica Cooper, Cheng-I Lai, Yusuke Yasuda, Fuming Fang, Xin Wang, Nanxin Chen, and Junichi Yamagishi
  • 学会等名: IEEE International Conference on Acoustics, Speech, and Signal Processing (IEEE ICASSP2020)
  • 国際学会
• [学会発表] Transferring neural speech waveform synthesizers to musical instrument sounds generation (2020)
  • 著者名/発表者名: Yi Zhao, Xin Wang, Lauri Juvela, and Junichi Yamagishi
  • 学会等名: IEEE International Conference on Acoustics, Speech, and Signal Processing (IEEE ICASSP2020)
  • 国際学会
• [学会発表] Effect of choice of probability distribution, randomness, and search methods for alignment modeling in sequence-to-sequence text-to-speech synthesis using hard alignment (2020)
  • 著者名/発表者名: Yusuke Yasuda, Xin Wang, and Junichi Yamagishi
  • 学会等名: IEEE International Conference on Acoustics, Speech, and Signal Processing (IEEE ICASSP2020)
  • 国際学会
• [学会発表] Generating sentiment-preserving fake online reviews using neural language models and their human- and machine-based detection (2020)
  • 著者名/発表者名: David Ifeoluwa Adelani, Haotian Mai, Fuming Fang, Huy H. Nguyen, Junichi Yamagishi, and Isao Echizen
  • 学会等名: Advanced Information Networking and Applications (AINA2020)
  • 国際学会