• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Annual Research Report

Communication System for Defending against Attacks of Media Clones

Research Project

Project/Area Number 16H06302
Research InstitutionOsaka University

Principal Investigator

馬場口 登  大阪大学, 工学研究科, 教授 (30156541)

Co-Investigator(Kenkyū-buntansha) 越前 功  国立情報学研究所, 情報社会相関研究系, 教授 (30462188)
Project Period (FY) 2016-05-31 – 2021-03-31
Keywords生体・プライバシー情報の保護 / 真贋識別 / 詐欺のモデリング / 対戦型循環的実証実験 / メディアクローン
Outline of Annual Research Achievements

本研究の目的を達成するため,(A)フェイク情報化の防止,(B)メディアクローン(MC)の生成,(C)MCの認識,(D)モデリング,(E)実証実験を進めた.
(A)では,歩容認証システムに用いられる映像の全身像を保護するため,全身動作シルエットの匿名化手法を開発した.また,指紋認証に必要な指紋情報が画像から抽出可能と指摘すると共に,指紋復元防止手法を開発した(新聞等報道).さらに映像中の顔や全身像の匿名化の基礎検討を行った.(B)では,音声クローンの品質向上を目指し,リカレントニューラルネットワークに基づいた音声合成手法Deep Autoregressive Modelを提案した(Web報道).さらに,様々な人から大量に収集した肉筆文字画像の利用により,特定個人の肉筆の特性を再現する文書クローン生成手法を開発した.(C)では,歩容シルエットのクローンを識別するため,輪郭特徴量に基づいて,実写動画から抽出された真正シルエットと自動生成されたシルエットを判別する全身動作シルエットクローン認識手法を考案した.(D)では,MC攻撃の本質が,真正メディアとMCを人間が判別できず騙されることにあると考え,電話音声により人を騙すMCのオレオレ詐欺に最近の身近な例として着目し,人が騙されるときの思考や状況をモデル化した.その発表は国際会議で国際雑誌への投稿推薦を受け,国際雑誌に採択された.(E)では,音声メディアを対象に,対戦型循環的実証実験を開催した.音声クローン認識技術を競うASVspoof challenge 2017では,113チームが参加登録し,うち49チームがスコアを提出した.参加者は運営組織が提供した共通データベースを用いて音声クローン認識手法を構築した.共通データベースは非常に大規模であり,MCの事例として,多様な収録音声が公開された.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

(A)フェイク情報化防止のための生体・プライバシー情報などの保護手法の確立,(B)フェイク情報を起源とするメディアクローン生成法の具体化,(C)メディアクローン攻撃の防御シールドのメディアクローン認識による構成,(D)メディアクローン攻撃に関連したコミュニケーション系のモデル化,(E)実証実験とデータベースの作成・公開に着手した.
(A)では,指紋の特徴点検出を妨害する疑似指紋パターンを指に装着することにより、視覚的に違和感なく、通常の指紋認証を可能にしつつ,画像からの指紋復元を防止しうる手法を実現した。また,個人の位置履歴の匿名化の有効性を実験的に示し,内心の保護の可能性を示した.(B)では,身体の自己遮蔽が生じるような動作に対しても有効である,全身の動作クローンの生成を試みた.また,文書クローン生成手法では、対象人物の少量の肉筆文字画像のみから、個人性と多様性を併せ持つMCを生成することを確認した.(C)では,MCの事例を収集するだけでなく、真正シルエットを様々な自己符号化器により僅かずつ変形したものをMCの事例とみなして認識器を学習することにより,高い認識精度の全身動作シルエットの認識手法を与えた.(D)では,オレオレ詐欺を数理論理的アプローチの一種であるチャンネル理論を用いてモデル化し,そのモデルに基づいて,情報の受け手が,意味不定性を伴う伝達情報の意味を推論するプロセスによって騙され得ることを示した.(E)では,ASVspoof challenge 2017を開催し,これまで難しいと言われてきた収録音声が比較的高精度に認識可能であることがわかってきた.
以上のように,MCの枠組みの提案や各テーマの実証実験が行われ,おおむね順調に進展しているといえる.

Strategy for Future Research Activity

(A)では,物理空間において各種センサにより取得され得る生体情報,あるいは各種センサによりセンシングされた情報が蓄積されるサイバー空間において,画像や映像に含まれる顔などの外見情報を保護する手法を開発する.生体情報保護については,これまでの指紋認証から静脈認証にも対象を広げる.また,k-匿名性の考えに基づいて顔画像の匿名化手法の開発を進める.
(B)では,現在主流のアプローチは,フェイク情報化の基となる音声や画像などのデータを大量に収集し,これを学習データとすることであるが,任意の人物に対するこのような学習データの収集が困難な場合がある.そこで,MC生成対象人物とは異なる人物のデータを活用してMCを生成する方法などの検討を進める.
(C)では,真正メディアに存在する生体由来の特徴が,特定個人のフェイク情報を起源とするMCに重畳されていないと考え,多様なメディアを対象に,MCと真正メディアを判別するMC認識手法の開発に取り組む.また,学習データとなる真正メディアとMCの事例が十分に得られない場合を考慮し,真正メディア(画像など)を少しずつ改変して学習データに用いる手法などの活用について検討を進める.
(D)では,これまでにモデル化したオレオレ詐欺が,電話を用いた音声による騙し,つまり聴覚からの伝達情報とその付加情報による騙しであり,文書や画像,動画など視覚的な騙しのある対象も考察する必要がある.そこで視覚からの情報が関与する文書による騙しについて検討を進める.
(E)については,MCの実証実験,データベース公開,および,共通データベース利用による研究加速のため,これまで以上に対戦型循環的実証実験(チャレンジ)を進めていく.

Remarks

2017年4月~2018年3月の間に,本課題に関する14件の取材協力と,5件の受賞がある.

  • Research Products

    (59 results)

All 2018 2017 Other

All Int'l Joint Research (4 results) Journal Article (7 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 7 results,  Open Access: 4 results) Presentation (44 results) (of which Int'l Joint Research: 15 results,  Invited: 6 results) Book (1 results) Remarks (2 results) Patent(Industrial Property Rights) (1 results) (of which Overseas: 1 results)

  • [Int'l Joint Research] 東フィンランド大学(フィンランド)

    • Country Name
      FINLAND
    • Counterpart Institution
      東フィンランド大学
  • [Int'l Joint Research] Institute for Infocomm Research(シンガポール)

    • Country Name
      SINGAPORE
    • Counterpart Institution
      Institute for Infocomm Research
  • [Int'l Joint Research] EURECOM研究所(フランス)

    • Country Name
      FRANCE
    • Counterpart Institution
      EURECOM研究所
  • [Int'l Joint Research] ウイーン工科大学/SBA Resarch(オーストリア)

    • Country Name
      AUSTRIA
    • Counterpart Institution
      ウイーン工科大学/SBA Resarch
  • [Journal Article] マイクロブログからの関連実世界観測情報の抽出2018

    • Author(s)
      新田直子, 吉武真人, 中村和晃, 馬場口登
    • Journal Title

      日本データベース学会和文論文誌

      Volume: 16-J Pages: 8 pages

    • Peer Reviewed / Open Access
  • [Journal Article] Investigating very deep highway networks for parametric speech synthesis2018

    • Author(s)
      Xin Wang, Shinji Takaki, and Junichi Yamagishi
    • Journal Title

      Speech Communication

      Volume: 96 Pages: 1~9

    • DOI

      https://doi.org/10.1016/j.specom.2017.11.002

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] BiometricJammer: Method to prevent acquisition of biometric information by surreptitious photography on fingerprints2018

    • Author(s)
      Isao Echizen and Tateo Ogane
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E101.D Pages: 2~12

    • DOI

      https://doi.org/10.1587/transinf.2017MUI0001

    • Peer Reviewed / Open Access
  • [Journal Article] 機械学習を用いたソーシャルネットワークと履歴書の照合方式の提案2017

    • Author(s)
      橋本英奈, 宮崎夏美, 市野将嗣, 久保山哲二, 越前功, 吉浦裕
    • Journal Title

      情報処理学会論文誌

      Volume: 58 Pages: 1863~1874

    • Peer Reviewed
  • [Journal Article] Provable identity based user authentication scheme on ECC in multi-server environment2017

    • Author(s)
      Toan-Thinh Truong, Minh-Triet Tran, Anh-Duc Duong, and Isao Echizen
    • Journal Title

      Wireless Personal Communications

      Volume: 95 Pages: 2785~2801

    • DOI

      https://doi.org/10.1007/s11277-017-3961-5

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Reversible audio information hiding for tampering detection and localization using sample scanning method2017

    • Author(s)
      Xuping Huang, Nobutaka Ono, Akira Nishimura, and Isao Echizen
    • Journal Title

      Journal of Information Processing

      Volume: 25 Pages: 469~476

    • DOI

      https://doi.org/10.2197/ipsjjip.25.469

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Introduction to the issue on spoofing and countermeasures for automatic speaker verification2017

    • Author(s)
      Junichi Yamagishi, Tomi H. Kinnunen, Nicholas Evans, Phillip De Leon, and Isabel Trancoso
    • Journal Title

      IEEE Journal of Selected Topics in Signal Processing

      Volume: 11 Pages: 585~587

    • DOI

      10.1109/JSTSP.2017.2698143

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 身体部位による人物の自己遮蔽を考慮した静止画からの動作クローン映像の生成2018

    • Author(s)
      堤哲平, 中村和晃, 明神聖子, 新田直子, 馬場口登
    • Organizer
      電子情報通信学会総合大会
  • [Presentation] クライアント・サーバ型メディア認識における模倣認識器構築防止手法の検討2018

    • Author(s)
      金原祥太, 中村和晃, 新田直子, 馬場口登
    • Organizer
      電子情報通信学会総合大会
  • [Presentation] 映像中の歩容情報保護を目的とした匿名歩容シルエットの生成2018

    • Author(s)
      廣瀬雄基, 中村和晃, 新田直子, 馬場口登
    • Organizer
      電子情報通信学会総合大会
  • [Presentation] 協調フィルタリングによる字形モデル推定に基づく手書き文字クローン生成2018

    • Author(s)
      宮崎永爾, 中村和晃, 新田直子, 馬場口登
    • Organizer
      電子情報通信学会技術研究報告(パターン認識・メディア理解研究会)
  • [Presentation] 時空間の連続性を考慮した映像改ざん検出2018

    • Author(s)
      吉田崇晃, 河野和宏, 馬場口登
    • Organizer
      電子情報通信学会技術研究報告(マルチメディア情報ハイディング・エンリッチメント研究会)
  • [Presentation] マイクロブログを用いたリアルタイム地域情報の推薦2018

    • Author(s)
      坂本宏祐, Jeongwoo Lim, 新田直子, 中村和晃, 馬場口登
    • Organizer
      データ工学と情報マネジメントに関するフォーラム(DEIM)
  • [Presentation] Deep Learning を利用した音声認識と音声合成2018

    • Author(s)
      山岸順一
    • Organizer
      OSSユーザーのための勉強会 <OSS X Users Meeting> #23
    • Invited
  • [Presentation] ディープラーニングによるテキスト音声合成の進展2018

    • Author(s)
      高木信二
    • Organizer
      日本音響学会春季研究発表会
    • Invited
  • [Presentation] 気象状況に応じた屋外画像の生成2018

    • Author(s)
      恒岡知生, 新田直子, 中村和晃, 馬場口登
    • Organizer
      データ工学と情報マネジメントに関するフォーラム(DEIM)
  • [Presentation] リカレント構造を持つ複素制限ボルツマンマシンによる複素スペクトル系列モデリング2018

    • Author(s)
      中鹿亘, 高木信二, 山岸順一
    • Organizer
      情報処理学会研究報告(音声言語情報処理研究会)
  • [Presentation] Investigation of WaveNet for text-to-speech synthesis2018

    • Author(s)
      Xin Wang, Shinji Takaki, and Junichi Yamagishi
    • Organizer
      情報処理学会研究報告(音声言語情報処理研究会)
  • [Presentation] Stealing your vocal identity from the internet: cloning Obama's voice from found data using GAN and WaveNet2018

    • Author(s)
      Jaime Lorenzo-Trueba, Xin Wang, and Junichi Yamagishi
    • Organizer
      情報処理学会研究報告(音声言語情報処理研究会)
  • [Presentation] Generating segment-level foreign-accented synthetic speech with natural speech prosody2018

    • Author(s)
      Gustav Henter, Jaime Lorenzo-Trueba, Xin Wang, Kondo Mariko, and Junichi Yamagishi
    • Organizer
      情報処理学会研究報告(音声言語情報処理研究会)
  • [Presentation] CycleGANを用いたクロスリンガル声質変換2018

    • Author(s)
      房福明, Jaime Lorenzo-Trueba, 山岸順一, 越前功
    • Organizer
      情報処理学会研究報告(音声言語情報処理研究会)
  • [Presentation] Formulating what a deceived person thinks2018

    • Author(s)
      Seiko Myojin and Noboru Babaguchi
    • Organizer
      International Symposium on Artificial Life and Robotics (AROB)
    • Int'l Joint Research
  • [Presentation] 人物の形状と色を補正するネットワークに基づく静止画からの動作クローン映像の生成2018

    • Author(s)
      宮脇勇輔, 中村和晃, 明神聖子, 新田直子, 馬場口登
    • Organizer
      電子情報通信学会技術研究報告(メディアエクスペリエンス・バーチャル環境基礎研究会)
  • [Presentation] An approach for gait anonymization using deep learning2017

    • Author(s)
      Ngoc-Dung T. Tieu, Huy H. Nguyen, Hoang-Quoc Nguyen-Son, Junichi Yamagishi, and Isao Echizen
    • Organizer
      IEEE International Workshop on Information Forensics and Security (WIFS)
    • Int'l Joint Research
  • [Presentation] Distinguishing computer graphics from natural images using convolution neural networks2017

    • Author(s)
      Nicolas Rahmouni, Vincent Nozick, Junichi Yamagishi, and Isao Echizen
    • Organizer
      IEEE International Workshop on Information Forensics and Security (WIFS)
    • Int'l Joint Research
  • [Presentation] Identifying computer-generated text using statistical analysis2017

    • Author(s)
      Hoang-Quoc Nguyen-Son, Ngoc-Dung T. Tieu, Huy H. Nguyen, Junichi Yamagishi, and Isao Echizen
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • Int'l Joint Research
  • [Presentation] Modelling traffic analysis in home automation systems2017

    • Author(s)
      Frederik Mollers, Stephanie Vogelgesang, Jochen Kruger, Isao Echizen, and Christoph Sorge
    • Organizer
      International Conference on Cryptology and Network Security (CANS)
    • Int'l Joint Research
  • [Presentation] Analyzing the impact of including listener perception annotations in RNN-based emotional speech synthesis2017

    • Author(s)
      Jaime Lorenzo-Trueba, Gustav Henter, Shinji Takaki, and Junichi Yamagishi
    • Organizer
      情報処理学会研究報告(音声言語情報処理研究会)
  • [Presentation] CycleGANを用いた高品質なノンパラレル声質変換2017

    • Author(s)
      房福明, 山岸順一, 越前功
    • Organizer
      情報処理学会研究報告 (音声言語情報処理研究会)
  • [Presentation] PrivacyTag: a community-based method for protecting privacy of photographed subjects in online social networks2017

    • Author(s)
      Shimon Machida, Adrian Dabrowski, Edgar Weippl, and Isao Echizen
    • Organizer
      IFIP Conference on e-Business, e-Services and e-Society (I3E)
    • Int'l Joint Research
  • [Presentation] 詐欺が成功する状況の記号論理的表現2017

    • Author(s)
      明神聖子, 馬場口登
    • Organizer
      計測自動制御学会システム・情報部門 学術講演会(SSI)
  • [Presentation] ASVspoof: 話者照合における生体検知2017

    • Author(s)
      山岸順一
    • Organizer
      バイオメトリクスと認識・認証シンポジウム(SBRA)
    • Invited
  • [Presentation] BiometricJammer: ユーザーの利便性を損なわず写真からの指紋復元を防止する技術2017

    • Author(s)
      大金建夫, 越前功
    • Organizer
      バイオメトリクスと認識・認証シンポジウム(SBRA)
    • Invited
  • [Presentation] BiometricJammer: Preventing surreptitious fingerprint photography without inconveniencing users2017

    • Author(s)
      Tateo Ogane and Isao Echizen
    • Organizer
      International Joint Conference on Biometrics (IJCB)
    • Int'l Joint Research
  • [Presentation] Mix-ORAM: using delegated shuffles2017

    • Author(s)
      Raphael R. Toledo, George Danezis, and Isao Echizen
    • Organizer
      Workshop on Privacy in the Electronic Society (WPES, held in conjunction with the ACM CCS conference)
    • Int'l Joint Research
  • [Presentation] 認知体系の制約に基づくメディアを介した情報の不定性と騙される思考2017

    • Author(s)
      明神聖子, 馬場口登
    • Organizer
      情報処理学会研究報告(セキュリティ心理学とトラスト研究会)
  • [Presentation] 異種センサ統合による屋外の快適さ推定2017

    • Author(s)
      恒岡知生, 新田直子, 中村和晃, 馬場口登
    • Organizer
      電子情報通信学会技術研究報告(メディアエクスペリエンス・バーチャル環境基礎研究会)
  • [Presentation] 複素RBMを用いた音声スペクトルモデリングの改良と評価2017

    • Author(s)
      中鹿亘, 高木信二, 山岸順一
    • Organizer
      日本音響学会秋季研究発表会
  • [Presentation] 現実とバーチャルの境界で情報を制御する ~メディアセキュリティ・プライバシーのこれから~2017

    • Author(s)
      越前功
    • Organizer
      電子情報通信学会技術研究報告(マルチメディア情報ハイディング・エンリッチメント研究会)
    • Invited
  • [Presentation] An RNN-based quantized F0 model with multi-tier feedback links for text-to-speech synthesis2017

    • Author(s)
      Xin Wang, Shinji Takaki, and Junichi Yamagishi
    • Organizer
      Annual Conference of the International Speech Communication (Interspeech)
    • Int'l Joint Research
  • [Presentation] The ASVspoof 2017 challenge: assessing the limits of replay spoofing attack detection2017

    • Author(s)
      Tomi Kinnunen, Md Sahidullah, Hector Delgado, Massimiliano Todisco, Nicholas Evans, Junichi Yamagishi, and Kong Aik Lee
    • Organizer
      Annual Conference of the International Speech Communication (Interspeech)
    • Int'l Joint Research
  • [Presentation] Complex-valued restricted Boltzmann machine for direct learning of frequency spectra2017

    • Author(s)
      Toru Nakashika, Shinji Takaki, and Junichi Yamagishi
    • Organizer
      Annual Conference of the International Speech Communication (Interspeech)
    • Int'l Joint Research
  • [Presentation] Detecting computer-generated text using fluency and noise features2017

    • Author(s)
      Hoang-Quoc Nguyen-Son and Isao Echizen
    • Organizer
      Conference of the Pacific Association for Computational Linguistics (Pacling)
    • Int'l Joint Research
  • [Presentation] Autoregressive quantized F0 modeling using a recurrent neural network with feedback links2017

    • Author(s)
      Xin Wang, Shinji Takaki, and Junichi Yamagishi
    • Organizer
      電子情報通信学会技術研究報告(音声研究会)
  • [Presentation] 個人内の多様性を考慮した手書き文字クローン生成2017

    • Author(s)
      宮崎永爾, 中村和晃, 新田直子, 馬場口登
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
  • [Presentation] 歩容シルエットクローン識別のための輪郭特徴量の検討2017

    • Author(s)
      生野祐輝, 中村和晃, 新田直子, 馬場口登
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
  • [Presentation] 複素RBM: 制限ボルツマンマシンの複素数拡張と音声信号への応用と評価2017

    • Author(s)
      中鹿亘, 高木信二, 山岸順一
    • Organizer
      情報処理学会研究報告(音声言語情報処理研究会)
  • [Presentation] 研究100連発(youtube動画13分35秒~22分09秒で研究紹介)2017

    • Author(s)
      山岸順一
    • Organizer
      NIIオープンハウス
  • [Presentation] Extracting real-world observations from microblog2017

    • Author(s)
      Masato Yoshitake, Naoko Nitta, Kazuaki Nakamura, and Noboru Babaguchi
    • Organizer
      IEEE International Conference on Multimedia Big Data (BigMM)
    • Int'l Joint Research
  • [Presentation] On-line geospatial term extraction from streaming geotagged tweets2017

    • Author(s)
      Takuya Kamimura, Naoko Nitta, Kazuaki Nakamura, and Noboru Babaguchi
    • Organizer
      IEEE International Conference on Multimedia Big Data (BigMM)
    • Int'l Joint Research
  • [Presentation] PrivacyVisor: Privacy protection for preventing face detection from camera images2017

    • Author(s)
      Isao Echizen
    • Organizer
      Workshop on Obfuscation
    • Int'l Joint Research / Invited
  • [Book] 情報通信学会100年史(第2部 D 第2章, 2.2 情報セキュリティ)2017

    • Author(s)
      馬場口登, 越前功
    • Total Pages
      6
    • Publisher
      電子情報通信学会
  • [Remarks] メディアクローン

    • URL

      http://www2c.comm.eng.osaka-u.ac.jp/proj/mc/index.html

  • [Remarks] Media Clone

    • URL

      http://www2c.comm.eng.osaka-u.ac.jp/proj/mc/eindex.html

  • [Patent(Industrial Property Rights)] 生体特徴盗撮防止装着具及び盗撮防止方法2017

    • Inventor(s)
      越前功, 大金建夫
    • Industrial Property Rights Holder
      大学共同利用機関法人情報・システム研究機構
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      PCT/JP2017/035456
    • Overseas

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi