• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

Communication System for Defending against Attacks of Media Clones

Research Project

Project/Area Number 16H06302
Research InstitutionOsaka University

Principal Investigator

馬場口 登  大阪大学, 工学研究科, 教授 (30156541)

Co-Investigator(Kenkyū-buntansha) 越前 功  国立情報学研究所, 大学共同利用機関等の部局等, 教授 (30462188)
Project Period (FY) 2016-05-31 – 2021-03-31
Keywordsメディア認識 / 生体情報の保護 / プライバシー情報の保護 / ソーシャルメディア / 文書生成 / 顔画像生成 / 歩容シルエット / 真贋識別
Outline of Annual Research Achievements

本研究の目的を達成するため,以下の(A)-(C)の課題に分けて,研究開発を進めた.
(A) 情報保護手法:市販のカメラで撮影した指の写真からでも指紋情報が抽出できることを示すとともに,指紋盗撮防止手法を検討した,本手法はThe TIMESなどで1000回以上掲載され,さらに情報通信関連で世界最大級の展示会CeBIT2017に出展し,3000人以上が来訪し,注目を集めた.プライバシー保護として,情報提供サービスにおける利用者の移動履歴保護技術を開発し,MMM2017でBest Paper Runner-upに選ばれた.SNSアカウントの非匿名化方法に関する提案は,I3E2016においてBest Paper Awardを受賞した.
(B) メディアクローン生成:Voice Conversion Challenge 2016における声質変換技術の得失を整理し明らかにした.話者適応技術に関して,深層学習でも少量の声サンプルからクローンが生成できることを実験的に示した.この他,本課題の基礎となる,話者照合と声質変換の共通のモデルでの実現方法,SNSの画像付き投稿のクローン,顔画像クローン,文書クローンの生成に関する予備的検討も始めた.
(C) メディアクローン認識:歩容認証を欺くクローンの脅威を考慮し,歩容シルエットの真贋識別手法を考案した.ASVSpoof2015とその後発表された音声クローンの動向を分析し,その成果はIEEE Journal of Selected Topics in Signal Processing (IF:5.301)に採録された.加えて,CG画像と自然画像の自動識別手法の研究も行った.
その他,本課題の全体像について,IEICE-CQ研究会で招待講演を行った.IEEE論文誌では生体検知に関する特集号の企画も行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究の初年度において,(A)フェイク情報化防止のための生体・プライバシー情報などの保護手法の確立,(B)フェイク情報を起源とするメディアクローン生成法の実現可能性の検証,(C)メディアクローン攻撃の防御シールドのメディアクローン認識による構成という課題の基礎部分に着手した.大まかな枠組みの提案,および要素技術の実装,検証を行い,当初の予定通りの進捗状況といえる.
(A)について,指紋盗撮防止手法については,ジャミングパターンによる視覚的違和感の低減,および攻撃者によるパターンの除去を困難にするために,これまでの幾何学的パターンの代わりに疑似指紋パターンを用いた改良手法を提案している.内心の一種である,興味のある場所への訪問履歴の保護を可能とする画像認識フレームワークは,シミュレーション実験に加え実環境における実験でもその有効性を検証できている.
(B)について,メディアクローン生成に関しては,ソーシャルメディアクローン生成について枠組みの提案,実装,検証を行ったのに加えて,文書クローン,顔画像クローンの生成にも着手し,基本的な手法の提案を行い,実装に向けて手法を洗練化している.
(C)について,歩容クローンをはじめとする人物像クローンの認識技術については,その実現可能性が確認され,今後の技術進展を図る.話者照合システムの生体検知精度についてはさらなる評価を加えて精度向上を進めている.固定フレーズ型話者照合に対する音声クローン攻撃の自動検出の実現も道筋が見え始めている.

Strategy for Future Research Activity

(A)について,個人の識別や認証に使われる指紋以外の生体情報である,虹彩や指静脈,手のひら静脈も含めた生体情報ごとの特徴に合わせて,対象者に接触しない状態で対象者の生体情報を取得する手段を検討する.さらに,このような取得を防止する手法について検討し,一連の防止手法を生体情報盗撮防止技術として確立する.また指紋盗撮防止技術については,企業と共同して社会実装を目指す.環境情報の改ざん防止として,映像における改ざん検出に関する研究を進める.加えて,顔や身体像(歩容)の匿名化についても研究を加速させる.
(B)では,少ないサンプルから任意の文字に対して個人性を考慮した手書き文字クローンの生成と,顔画像と音声が同期した顔画像クローンの生成を進める.さらに(C)での歩容クローンの識別技術の更なる発展を目的として,歩容クローンの生成技術を詳細に検討するとともに,静止画から動作クローン映像を生成する手法の開発も行う.それに加えて,ソーシャルメディアクローン生成に関する技術開発を進める.
(C)について,(B)でのソーシャルメディア関連の研究に基づき、ソーシャルメディアにおけるなりすましの検出についても取り組む。音声クローンについては,これまで別々に検討されていた収録音声のプレイバック攻撃、音声合成攻撃,声質変換攻撃の全てをカバーしたデータベースを新たに構築することを目指す.さらに,最近の音声合成法が、既存のanti-spoofing技術では対応できないと予想され,新たな防御法の検討が必要であるため,この拡張データベースを元に話者照合システムの安全性をさらに向上させることに取り組む.
さらに(D)として,メディアクローン攻撃に関連したコミュニケーション系のモデル化にも着手する.

Remarks

2016,04-2017.03の間に,本課題に関連する13件の取材協力と,5件の受賞がある.

  • Research Products

    (43 results)

All 2017 2016 Other

All Int'l Joint Research (6 results) Journal Article (4 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 4 results,  Open Access: 1 results) Presentation (30 results) (of which Int'l Joint Research: 17 results,  Invited: 1 results) Remarks (2 results) Patent(Industrial Property Rights) (1 results)

  • [Int'l Joint Research] エジンバラ大学(英国)

    • Country Name
      UNITED KINGDOM
    • Counterpart Institution
      エジンバラ大学
  • [Int'l Joint Research] EURECOMU研究所(フランス)

    • Country Name
      FRANCE
    • Counterpart Institution
      EURECOMU研究所
  • [Int'l Joint Research] アルト大学/東フィンランド大学(フィンランド)

    • Country Name
      FINLAND
    • Counterpart Institution
      アルト大学/東フィンランド大学
  • [Int'l Joint Research] Institute for Infocomm Research(シンガポール)

    • Country Name
      SINGAPORE
    • Counterpart Institution
      Institute for Infocomm Research
  • [Int'l Joint Research] ウィーン工科大学(オーストリア)

    • Country Name
      AUSTRIA
    • Counterpart Institution
      ウィーン工科大学
  • [Int'l Joint Research]

    • # of Other Countries
      1
  • [Journal Article] Provable Identity Based User Authentication Scheme on ECC in Multi-server Environment2017

    • Author(s)
      Truong Toan-Thinh、Tran Minh-Triet、Duong Anh-Duc、Echizen Isao
    • Journal Title

      Wireless Personal Communications

      Volume: 95 Pages: 2785~2801

    • DOI

      10.1007/s11277-017-3961-5

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] 時間領域へのウェーブレットフィルタの加減算による音響電子透かしの提案2016

    • Author(s)
      伊藤世紀、姜玄浩、岩村惠市、金田北洋、越前功
    • Journal Title

      情報処理学会論文誌

      Volume: 57 Pages: 1911~1920

    • Peer Reviewed
  • [Journal Article] ステガノグラフィ(ANGO)の特性とテンプレートマッチングへの応用に関する研究2016

    • Author(s)
      石塚裕一、越前功、岩村惠市、櫻井幸一
    • Journal Title

      情報処理学会論文誌

      Volume: 57 Pages: 1921~1932

    • Peer Reviewed
  • [Journal Article] Anti-spoofing for Text-independent Speaker Verification: An Initial Database, Comparison of Countermeasures, and Human Performance2016

    • Author(s)
      Zhizheng Wu、Phillip L. De Leon、Cenk Demiroglu、Ali Khodabakhsh、Simon King、Zhen-Hua Ling、Daisuke Saito、Bryan Stewart、Tomoki Toda、Mirjam Wester、Junichi Yamagishi
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: 24 Pages: 768~783

    • DOI

      10.1109/TASLP.2016.2526653

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Distinguishing Computer Graphics from Natural Images using Convolution Neural Networks2017

    • Author(s)
      Nicolas Rahmouni、Vincent Nozick、Junichi Yamagishi、Isao Echizen
    • Organizer
      IEEE International Workshop on Information Forensics and Security 2017 (WIFS 2017)
    • Int'l Joint Research
  • [Presentation] CycleGANを用いた高品質なノンパラレル声質変換2017

    • Author(s)
      房福明、山岸順一、越前功
    • Organizer
      音声言語シンポジウム
  • [Presentation] 実世界の状況を考慮したソーシャルメディアクローン生成2017

    • Author(s)
      坂本宏祐、新田直子、中村和晃、馬場口登
    • Organizer
      電子情報通信学会総合大会
  • [Presentation] 輪郭形状の滑らかさに基づく歩容シルエットクローンの識別2017

    • Author(s)
      生野祐輝、中村和晃、新田直子、馬場口登
    • Organizer
      電子情報通信学会総合大会
  • [Presentation] ユーザの性格を考慮したソーシャルメディアへの画像投稿傾向のモデリング2017

    • Author(s)
      大西祐貴、中村和晃、新田直子、馬場口登
    • Organizer
      電子情報通信学会 パターン認識・メディア理解研究会 (PRMU)
  • [Presentation] マイクロブログからのリアルタイム地域情報抽出2017

    • Author(s)
      上村卓也、新田直子、中村和晃、馬場口登
    • Organizer
      データ工学と情報マネジメントに関するフォーラム (DEIM 2017)
  • [Presentation] マイクロブログからの関連実世界観測情報の抽出2017

    • Author(s)
      吉武真人、新田直子、中村和晃、馬場口登
    • Organizer
      データ工学と情報マネジメントに関するフォーラム (DEIM 2017)
  • [Presentation] 継続認証実現に向けた歩行中の心拍データ系列を用いた個人認証2017

    • Author(s)
      吉田崇晃、河野和宏、馬場口登
    • Organizer
      電子情報通信学会 マルチメディア情報ハイディング・エンリッチメント研究会 (EMM)
  • [Presentation] 画像入力型情報検索システムにおける利用者の位置履歴の保護2017

    • Author(s)
      藤井宏次朗、中村和晃、新田直子、馬場口登
    • Organizer
      電子情報通信学会 マルチメディア情報ハイディング・エンリッチメント研究会 (EMM)
  • [Presentation] メディアクローン攻撃を防御するコミュニケーション系―構想・チャレンジ・アプローチ―2017

    • Author(s)
      馬場口登
    • Organizer
      電子情報通信学会 コミュニケーションクオリティ研究会 (CQ)
    • Invited
  • [Presentation] Adapting and Controlling DNN-based Speech Synthesis using Input Codes2017

    • Author(s)
      Hieu-Thi Luong、Shinji Takaki、Gustav Eje Henter、Junichi Yamagishi
    • Organizer
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017)
    • Int'l Joint Research
  • [Presentation] An Auto Regressive Recurrent Mixture Density Network for Parametric Speech Synthesis2017

    • Author(s)
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • Organizer
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017)
    • Int'l Joint Research
  • [Presentation] Non-parallel Voice Conversion using I-vector PLDA: Towards Unifying Speaker Verification and Transformation2017

    • Author(s)
      Tomi Kinnunen、Lauri Juvela、Paavo Alku、Junichi Yamagishi
    • Organizer
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017),
    • Int'l Joint Research
  • [Presentation] Investigation on an Autoregressive Recurrent Mixture Density Network for Parametric Speech Synthesis2017

    • Author(s)
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • Organizer
      情報処理学会 音声言語情報処理研究会 (SLP)
  • [Presentation] A Framework of Privacy-preserving Image Recognition for Image-based Information Services2017

    • Author(s)
      Kojiro Fujii、Kazuaki Nakamura、Naoko Nitta、Noboru Babaguchi
    • Organizer
      International Conference on MultiMedia Modeling (MMM 2017)
    • Int'l Joint Research
  • [Presentation] Efficiently Decodable Defective Items Detected by New Model of Noisy Group Testing2016

    • Author(s)
      Thach V. Bui、Tetsuya Kojima、Isao Echizen
    • Organizer
      International Symposium on Information Theory and Its Applications (ISITA 2016)
    • Int'l Joint Research
  • [Presentation] Investigating the Impact of a Neural Network's Depth on Spectral and F0 Modelling for Parametric Speech Synthesis2016

    • Author(s)
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • Organizer
      電子情報通信学会 音声研究会 (SP)
  • [Presentation] Privacy-protected Video Surveillance in Crowded Environments using Robust Watermarking2016

    • Author(s)
      Yuichi Kusama、Hyunho Kang、Keiichi Iwamura、Isao Echizen
    • Organizer
      IEEE Global Conference on Consumer Electronics (IEEE GCCE 2016)
    • Int'l Joint Research
  • [Presentation] Image Watermarking using the Differences between Two Wavelet Filters2016

    • Author(s)
      YuFeng Yan、Hyunho Kang、Keiichi Iwamura、Isao Echizen
    • Organizer
      IEEE Global Conference on Consumer Electronics (IEEE GCCE 2016)
    • Int'l Joint Research
  • [Presentation] Best Embedding Direction for Spread Spectrum-based Video Watermarking2016

    • Author(s)
      Natsuki Kokui、Hyunho Kang、Keiichi Iwamura、Isao Echizen
    • Organizer
      IEEE Global Conference on Consumer Electronics (IEEE GCCE 2016)
    • Int'l Joint Research
  • [Presentation] BiometricJammer: ユーザの利便性を考慮した指紋データの盗撮防止手法2016

    • Author(s)
      大金建夫、越前功
    • Organizer
      情報処理学会 コンピュータセキュリティシンポジウム2016 (CSS 2016)
  • [Presentation] The NII Speech Synthesis Entry for Blizzard Challenge 20162016

    • Author(s)
      Lauri Juvela、Xin Wang、Shinji Takaki、SangJin Kim、Manu Airaksinen、Junichi Yamagishi
    • Organizer
      Blizzard Challenge workshop 2016
    • Int'l Joint Research
  • [Presentation] Investigating Very Deep Highway Networks for Parametric Speech Synthesis2016

    • Author(s)
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • Organizer
      ISCA Workshop on Speech Synthesis (Satellite workshop after Interspeech 2016)
    • Int'l Joint Research
  • [Presentation] A Comparative Study of the Performance of HMM, DNN, and RNN based Speech Synthesis Systems Trained on Very Large Speaker-dependent Corpora2016

    • Author(s)
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • Organizer
      ISCA Workshop on Speech Synthesis (Satellite workshop after Interspeech 2016)
    • Int'l Joint Research
  • [Presentation] Breaking Anonymity of Social Network Accounts by using Coordinated and Extensible Classifiers based on Machine Learning2016

    • Author(s)
      Eina Hashimoto、Masatsugu Ichino、Tetsuji Kuboyama、Isao Echizen、Hiroshi Yoshiura
    • Organizer
      IFIP Conference on e-Business, e-Services and e-Society (I3E 2016)
    • Int'l Joint Research
  • [Presentation] The Voice Conversion Challenge 20162016

    • Author(s)
      Tomoki Toda、Ling-Hui Chen、Daisuke Saito、Fernando Villavicencio、Mirjam Wester、Zhizheng Wu、Junichi Yamagishi
    • Organizer
      Interspeech 2016
    • Int'l Joint Research
  • [Presentation] Analysis of the Voice Conversion Challenge 2016 Evaluation Results2016

    • Author(s)
      Mirjam Wester、Zhizheng Wu、Junichi Yamagishi
    • Organizer
      Interspeech 2016
    • Int'l Joint Research
  • [Presentation] Provable User Authentication Scheme in Telecare Medicine Information System using Elliptic Curve Cryptosystem2016

    • Author(s)
      Toan Thinh Truong、Duong Tien Phan、Minh Triet Tran、Anh Duc Duong、Isao Echizen
    • Organizer
      International Conference on Availability, Reliability and Security (ARES 2016)
    • Int'l Joint Research
  • [Presentation] Voice Liveness Detection for Speaker Verification based on a Tandem Single/double-channel POP Noise Detector2016

    • Author(s)
      Sayaka Shiota、Fernando Villavicencio、Junichi Yamagishi、Nobutaka Ono、Isao Echizen、Tomoko Matsui
    • Organizer
      The Speaker and Language Recognition Workshop (Odyssey 2016)
    • Int'l Joint Research
  • [Presentation] ウェアラブル端末から得られる長期心拍データ系列に着目したマルチモーダル所有者認証2016

    • Author(s)
      吉田崇晃、河野和宏、馬場口登
    • Organizer
      電子情報通信学会 マルチメディア情報ハイディング・エンリッチメント研究会 (EMM)
  • [Remarks] メディアクローン

    • URL

      http://www2c.comm.eng.osaka-u.ac.jp/proj/mc/index.html

  • [Remarks] Media Clone

    • URL

      http://www2c.comm.eng.osaka-u.ac.jp/proj/mc/eindex.html

  • [Patent(Industrial Property Rights)] 生体特徴盗撮防止装着具及び盗撮防止方法2017

    • Inventor(s)
      越前功、大金建夫
    • Industrial Property Rights Holder
      越前功、大金建夫
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2017-51969

URL: 

Published: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi