• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実績報告書

メディアクローン攻撃を防御するコミュニケーション系

研究課題

研究課題/領域番号 16H06302
研究機関大阪大学

研究代表者

馬場口 登  大阪大学, 工学研究科, 教授 (30156541)

研究分担者 越前 功  国立情報学研究所, 情報社会相関研究系, 教授 (30462188)
研究期間 (年度) 2016-05-31 – 2021-03-31
キーワード生体・プライバシー情報の保護 / 真贋識別 / 詐欺のモデリング / 対戦型循環的実証実験 / メディアクローン
研究実績の概要

本研究の目的を達成するため,(A)フェイク情報化の防止,(B)メディアクローン(MC)の生成,(C)MCの認識,(D)モデリング,(E)実証実験を進めた.
(A)では,歩容認証システムに用いられる映像の全身像を保護するため,全身動作シルエットの匿名化手法を開発した.また,指紋認証に必要な指紋情報が画像から抽出可能と指摘すると共に,指紋復元防止手法を開発した(新聞等報道).さらに映像中の顔や全身像の匿名化の基礎検討を行った.(B)では,音声クローンの品質向上を目指し,リカレントニューラルネットワークに基づいた音声合成手法Deep Autoregressive Modelを提案した(Web報道).さらに,様々な人から大量に収集した肉筆文字画像の利用により,特定個人の肉筆の特性を再現する文書クローン生成手法を開発した.(C)では,歩容シルエットのクローンを識別するため,輪郭特徴量に基づいて,実写動画から抽出された真正シルエットと自動生成されたシルエットを判別する全身動作シルエットクローン認識手法を考案した.(D)では,MC攻撃の本質が,真正メディアとMCを人間が判別できず騙されることにあると考え,電話音声により人を騙すMCのオレオレ詐欺に最近の身近な例として着目し,人が騙されるときの思考や状況をモデル化した.その発表は国際会議で国際雑誌への投稿推薦を受け,国際雑誌に採択された.(E)では,音声メディアを対象に,対戦型循環的実証実験を開催した.音声クローン認識技術を競うASVspoof challenge 2017では,113チームが参加登録し,うち49チームがスコアを提出した.参加者は運営組織が提供した共通データベースを用いて音声クローン認識手法を構築した.共通データベースは非常に大規模であり,MCの事例として,多様な収録音声が公開された.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

(A)フェイク情報化防止のための生体・プライバシー情報などの保護手法の確立,(B)フェイク情報を起源とするメディアクローン生成法の具体化,(C)メディアクローン攻撃の防御シールドのメディアクローン認識による構成,(D)メディアクローン攻撃に関連したコミュニケーション系のモデル化,(E)実証実験とデータベースの作成・公開に着手した.
(A)では,指紋の特徴点検出を妨害する疑似指紋パターンを指に装着することにより、視覚的に違和感なく、通常の指紋認証を可能にしつつ,画像からの指紋復元を防止しうる手法を実現した。また,個人の位置履歴の匿名化の有効性を実験的に示し,内心の保護の可能性を示した.(B)では,身体の自己遮蔽が生じるような動作に対しても有効である,全身の動作クローンの生成を試みた.また,文書クローン生成手法では、対象人物の少量の肉筆文字画像のみから、個人性と多様性を併せ持つMCを生成することを確認した.(C)では,MCの事例を収集するだけでなく、真正シルエットを様々な自己符号化器により僅かずつ変形したものをMCの事例とみなして認識器を学習することにより,高い認識精度の全身動作シルエットの認識手法を与えた.(D)では,オレオレ詐欺を数理論理的アプローチの一種であるチャンネル理論を用いてモデル化し,そのモデルに基づいて,情報の受け手が,意味不定性を伴う伝達情報の意味を推論するプロセスによって騙され得ることを示した.(E)では,ASVspoof challenge 2017を開催し,これまで難しいと言われてきた収録音声が比較的高精度に認識可能であることがわかってきた.
以上のように,MCの枠組みの提案や各テーマの実証実験が行われ,おおむね順調に進展しているといえる.

今後の研究の推進方策

(A)では,物理空間において各種センサにより取得され得る生体情報,あるいは各種センサによりセンシングされた情報が蓄積されるサイバー空間において,画像や映像に含まれる顔などの外見情報を保護する手法を開発する.生体情報保護については,これまでの指紋認証から静脈認証にも対象を広げる.また,k-匿名性の考えに基づいて顔画像の匿名化手法の開発を進める.
(B)では,現在主流のアプローチは,フェイク情報化の基となる音声や画像などのデータを大量に収集し,これを学習データとすることであるが,任意の人物に対するこのような学習データの収集が困難な場合がある.そこで,MC生成対象人物とは異なる人物のデータを活用してMCを生成する方法などの検討を進める.
(C)では,真正メディアに存在する生体由来の特徴が,特定個人のフェイク情報を起源とするMCに重畳されていないと考え,多様なメディアを対象に,MCと真正メディアを判別するMC認識手法の開発に取り組む.また,学習データとなる真正メディアとMCの事例が十分に得られない場合を考慮し,真正メディア(画像など)を少しずつ改変して学習データに用いる手法などの活用について検討を進める.
(D)では,これまでにモデル化したオレオレ詐欺が,電話を用いた音声による騙し,つまり聴覚からの伝達情報とその付加情報による騙しであり,文書や画像,動画など視覚的な騙しのある対象も考察する必要がある.そこで視覚からの情報が関与する文書による騙しについて検討を進める.
(E)については,MCの実証実験,データベース公開,および,共通データベース利用による研究加速のため,これまで以上に対戦型循環的実証実験(チャレンジ)を進めていく.

備考

2017年4月~2018年3月の間に,本課題に関する14件の取材協力と,5件の受賞がある.

  • 研究成果

    (59件)

すべて 2018 2017 その他

すべて 国際共同研究 (4件) 雑誌論文 (7件) (うち国際共著 4件、 査読あり 7件、 オープンアクセス 4件) 学会発表 (44件) (うち国際学会 15件、 招待講演 6件) 図書 (1件) 備考 (2件) 産業財産権 (1件) (うち外国 1件)

  • [国際共同研究] 東フィンランド大学(フィンランド)

    • 国名
      フィンランド
    • 外国機関名
      東フィンランド大学
  • [国際共同研究] Institute for Infocomm Research(シンガポール)

    • 国名
      シンガポール
    • 外国機関名
      Institute for Infocomm Research
  • [国際共同研究] EURECOM研究所(フランス)

    • 国名
      フランス
    • 外国機関名
      EURECOM研究所
  • [国際共同研究] ウイーン工科大学/SBA Resarch(オーストリア)

    • 国名
      オーストリア
    • 外国機関名
      ウイーン工科大学/SBA Resarch
  • [雑誌論文] マイクロブログからの関連実世界観測情報の抽出2018

    • 著者名/発表者名
      新田直子, 吉武真人, 中村和晃, 馬場口登
    • 雑誌名

      日本データベース学会和文論文誌

      巻: 16-J ページ: 8 pages

    • 査読あり / オープンアクセス
  • [雑誌論文] Investigating very deep highway networks for parametric speech synthesis2018

    • 著者名/発表者名
      Xin Wang, Shinji Takaki, and Junichi Yamagishi
    • 雑誌名

      Speech Communication

      巻: 96 ページ: 1~9

    • DOI

      https://doi.org/10.1016/j.specom.2017.11.002

    • 査読あり / 国際共著
  • [雑誌論文] BiometricJammer: Method to prevent acquisition of biometric information by surreptitious photography on fingerprints2018

    • 著者名/発表者名
      Isao Echizen and Tateo Ogane
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E101.D ページ: 2~12

    • DOI

      https://doi.org/10.1587/transinf.2017MUI0001

    • 査読あり / オープンアクセス
  • [雑誌論文] 機械学習を用いたソーシャルネットワークと履歴書の照合方式の提案2017

    • 著者名/発表者名
      橋本英奈, 宮崎夏美, 市野将嗣, 久保山哲二, 越前功, 吉浦裕
    • 雑誌名

      情報処理学会論文誌

      巻: 58 ページ: 1863~1874

    • 査読あり
  • [雑誌論文] Provable identity based user authentication scheme on ECC in multi-server environment2017

    • 著者名/発表者名
      Toan-Thinh Truong, Minh-Triet Tran, Anh-Duc Duong, and Isao Echizen
    • 雑誌名

      Wireless Personal Communications

      巻: 95 ページ: 2785~2801

    • DOI

      https://doi.org/10.1007/s11277-017-3961-5

    • 査読あり / 国際共著
  • [雑誌論文] Reversible audio information hiding for tampering detection and localization using sample scanning method2017

    • 著者名/発表者名
      Xuping Huang, Nobutaka Ono, Akira Nishimura, and Isao Echizen
    • 雑誌名

      Journal of Information Processing

      巻: 25 ページ: 469~476

    • DOI

      https://doi.org/10.2197/ipsjjip.25.469

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Introduction to the issue on spoofing and countermeasures for automatic speaker verification2017

    • 著者名/発表者名
      Junichi Yamagishi, Tomi H. Kinnunen, Nicholas Evans, Phillip De Leon, and Isabel Trancoso
    • 雑誌名

      IEEE Journal of Selected Topics in Signal Processing

      巻: 11 ページ: 585~587

    • DOI

      10.1109/JSTSP.2017.2698143

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 身体部位による人物の自己遮蔽を考慮した静止画からの動作クローン映像の生成2018

    • 著者名/発表者名
      堤哲平, 中村和晃, 明神聖子, 新田直子, 馬場口登
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] クライアント・サーバ型メディア認識における模倣認識器構築防止手法の検討2018

    • 著者名/発表者名
      金原祥太, 中村和晃, 新田直子, 馬場口登
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] 映像中の歩容情報保護を目的とした匿名歩容シルエットの生成2018

    • 著者名/発表者名
      廣瀬雄基, 中村和晃, 新田直子, 馬場口登
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] 協調フィルタリングによる字形モデル推定に基づく手書き文字クローン生成2018

    • 著者名/発表者名
      宮崎永爾, 中村和晃, 新田直子, 馬場口登
    • 学会等名
      電子情報通信学会技術研究報告(パターン認識・メディア理解研究会)
  • [学会発表] 時空間の連続性を考慮した映像改ざん検出2018

    • 著者名/発表者名
      吉田崇晃, 河野和宏, 馬場口登
    • 学会等名
      電子情報通信学会技術研究報告(マルチメディア情報ハイディング・エンリッチメント研究会)
  • [学会発表] マイクロブログを用いたリアルタイム地域情報の推薦2018

    • 著者名/発表者名
      坂本宏祐, Jeongwoo Lim, 新田直子, 中村和晃, 馬場口登
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム(DEIM)
  • [学会発表] Deep Learning を利用した音声認識と音声合成2018

    • 著者名/発表者名
      山岸順一
    • 学会等名
      OSSユーザーのための勉強会 <OSS X Users Meeting> #23
    • 招待講演
  • [学会発表] ディープラーニングによるテキスト音声合成の進展2018

    • 著者名/発表者名
      高木信二
    • 学会等名
      日本音響学会春季研究発表会
    • 招待講演
  • [学会発表] 気象状況に応じた屋外画像の生成2018

    • 著者名/発表者名
      恒岡知生, 新田直子, 中村和晃, 馬場口登
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム(DEIM)
  • [学会発表] リカレント構造を持つ複素制限ボルツマンマシンによる複素スペクトル系列モデリング2018

    • 著者名/発表者名
      中鹿亘, 高木信二, 山岸順一
    • 学会等名
      情報処理学会研究報告(音声言語情報処理研究会)
  • [学会発表] Investigation of WaveNet for text-to-speech synthesis2018

    • 著者名/発表者名
      Xin Wang, Shinji Takaki, and Junichi Yamagishi
    • 学会等名
      情報処理学会研究報告(音声言語情報処理研究会)
  • [学会発表] Stealing your vocal identity from the internet: cloning Obama's voice from found data using GAN and WaveNet2018

    • 著者名/発表者名
      Jaime Lorenzo-Trueba, Xin Wang, and Junichi Yamagishi
    • 学会等名
      情報処理学会研究報告(音声言語情報処理研究会)
  • [学会発表] Generating segment-level foreign-accented synthetic speech with natural speech prosody2018

    • 著者名/発表者名
      Gustav Henter, Jaime Lorenzo-Trueba, Xin Wang, Kondo Mariko, and Junichi Yamagishi
    • 学会等名
      情報処理学会研究報告(音声言語情報処理研究会)
  • [学会発表] CycleGANを用いたクロスリンガル声質変換2018

    • 著者名/発表者名
      房福明, Jaime Lorenzo-Trueba, 山岸順一, 越前功
    • 学会等名
      情報処理学会研究報告(音声言語情報処理研究会)
  • [学会発表] Formulating what a deceived person thinks2018

    • 著者名/発表者名
      Seiko Myojin and Noboru Babaguchi
    • 学会等名
      International Symposium on Artificial Life and Robotics (AROB)
    • 国際学会
  • [学会発表] 人物の形状と色を補正するネットワークに基づく静止画からの動作クローン映像の生成2018

    • 著者名/発表者名
      宮脇勇輔, 中村和晃, 明神聖子, 新田直子, 馬場口登
    • 学会等名
      電子情報通信学会技術研究報告(メディアエクスペリエンス・バーチャル環境基礎研究会)
  • [学会発表] An approach for gait anonymization using deep learning2017

    • 著者名/発表者名
      Ngoc-Dung T. Tieu, Huy H. Nguyen, Hoang-Quoc Nguyen-Son, Junichi Yamagishi, and Isao Echizen
    • 学会等名
      IEEE International Workshop on Information Forensics and Security (WIFS)
    • 国際学会
  • [学会発表] Distinguishing computer graphics from natural images using convolution neural networks2017

    • 著者名/発表者名
      Nicolas Rahmouni, Vincent Nozick, Junichi Yamagishi, and Isao Echizen
    • 学会等名
      IEEE International Workshop on Information Forensics and Security (WIFS)
    • 国際学会
  • [学会発表] Identifying computer-generated text using statistical analysis2017

    • 著者名/発表者名
      Hoang-Quoc Nguyen-Son, Ngoc-Dung T. Tieu, Huy H. Nguyen, Junichi Yamagishi, and Isao Echizen
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 国際学会
  • [学会発表] Modelling traffic analysis in home automation systems2017

    • 著者名/発表者名
      Frederik Mollers, Stephanie Vogelgesang, Jochen Kruger, Isao Echizen, and Christoph Sorge
    • 学会等名
      International Conference on Cryptology and Network Security (CANS)
    • 国際学会
  • [学会発表] Analyzing the impact of including listener perception annotations in RNN-based emotional speech synthesis2017

    • 著者名/発表者名
      Jaime Lorenzo-Trueba, Gustav Henter, Shinji Takaki, and Junichi Yamagishi
    • 学会等名
      情報処理学会研究報告(音声言語情報処理研究会)
  • [学会発表] CycleGANを用いた高品質なノンパラレル声質変換2017

    • 著者名/発表者名
      房福明, 山岸順一, 越前功
    • 学会等名
      情報処理学会研究報告 (音声言語情報処理研究会)
  • [学会発表] PrivacyTag: a community-based method for protecting privacy of photographed subjects in online social networks2017

    • 著者名/発表者名
      Shimon Machida, Adrian Dabrowski, Edgar Weippl, and Isao Echizen
    • 学会等名
      IFIP Conference on e-Business, e-Services and e-Society (I3E)
    • 国際学会
  • [学会発表] 詐欺が成功する状況の記号論理的表現2017

    • 著者名/発表者名
      明神聖子, 馬場口登
    • 学会等名
      計測自動制御学会システム・情報部門 学術講演会(SSI)
  • [学会発表] ASVspoof: 話者照合における生体検知2017

    • 著者名/発表者名
      山岸順一
    • 学会等名
      バイオメトリクスと認識・認証シンポジウム(SBRA)
    • 招待講演
  • [学会発表] BiometricJammer: ユーザーの利便性を損なわず写真からの指紋復元を防止する技術2017

    • 著者名/発表者名
      大金建夫, 越前功
    • 学会等名
      バイオメトリクスと認識・認証シンポジウム(SBRA)
    • 招待講演
  • [学会発表] BiometricJammer: Preventing surreptitious fingerprint photography without inconveniencing users2017

    • 著者名/発表者名
      Tateo Ogane and Isao Echizen
    • 学会等名
      International Joint Conference on Biometrics (IJCB)
    • 国際学会
  • [学会発表] Mix-ORAM: using delegated shuffles2017

    • 著者名/発表者名
      Raphael R. Toledo, George Danezis, and Isao Echizen
    • 学会等名
      Workshop on Privacy in the Electronic Society (WPES, held in conjunction with the ACM CCS conference)
    • 国際学会
  • [学会発表] 認知体系の制約に基づくメディアを介した情報の不定性と騙される思考2017

    • 著者名/発表者名
      明神聖子, 馬場口登
    • 学会等名
      情報処理学会研究報告(セキュリティ心理学とトラスト研究会)
  • [学会発表] 異種センサ統合による屋外の快適さ推定2017

    • 著者名/発表者名
      恒岡知生, 新田直子, 中村和晃, 馬場口登
    • 学会等名
      電子情報通信学会技術研究報告(メディアエクスペリエンス・バーチャル環境基礎研究会)
  • [学会発表] 複素RBMを用いた音声スペクトルモデリングの改良と評価2017

    • 著者名/発表者名
      中鹿亘, 高木信二, 山岸順一
    • 学会等名
      日本音響学会秋季研究発表会
  • [学会発表] 現実とバーチャルの境界で情報を制御する ~メディアセキュリティ・プライバシーのこれから~2017

    • 著者名/発表者名
      越前功
    • 学会等名
      電子情報通信学会技術研究報告(マルチメディア情報ハイディング・エンリッチメント研究会)
    • 招待講演
  • [学会発表] An RNN-based quantized F0 model with multi-tier feedback links for text-to-speech synthesis2017

    • 著者名/発表者名
      Xin Wang, Shinji Takaki, and Junichi Yamagishi
    • 学会等名
      Annual Conference of the International Speech Communication (Interspeech)
    • 国際学会
  • [学会発表] The ASVspoof 2017 challenge: assessing the limits of replay spoofing attack detection2017

    • 著者名/発表者名
      Tomi Kinnunen, Md Sahidullah, Hector Delgado, Massimiliano Todisco, Nicholas Evans, Junichi Yamagishi, and Kong Aik Lee
    • 学会等名
      Annual Conference of the International Speech Communication (Interspeech)
    • 国際学会
  • [学会発表] Complex-valued restricted Boltzmann machine for direct learning of frequency spectra2017

    • 著者名/発表者名
      Toru Nakashika, Shinji Takaki, and Junichi Yamagishi
    • 学会等名
      Annual Conference of the International Speech Communication (Interspeech)
    • 国際学会
  • [学会発表] Detecting computer-generated text using fluency and noise features2017

    • 著者名/発表者名
      Hoang-Quoc Nguyen-Son and Isao Echizen
    • 学会等名
      Conference of the Pacific Association for Computational Linguistics (Pacling)
    • 国際学会
  • [学会発表] Autoregressive quantized F0 modeling using a recurrent neural network with feedback links2017

    • 著者名/発表者名
      Xin Wang, Shinji Takaki, and Junichi Yamagishi
    • 学会等名
      電子情報通信学会技術研究報告(音声研究会)
  • [学会発表] 個人内の多様性を考慮した手書き文字クローン生成2017

    • 著者名/発表者名
      宮崎永爾, 中村和晃, 新田直子, 馬場口登
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
  • [学会発表] 歩容シルエットクローン識別のための輪郭特徴量の検討2017

    • 著者名/発表者名
      生野祐輝, 中村和晃, 新田直子, 馬場口登
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
  • [学会発表] 複素RBM: 制限ボルツマンマシンの複素数拡張と音声信号への応用と評価2017

    • 著者名/発表者名
      中鹿亘, 高木信二, 山岸順一
    • 学会等名
      情報処理学会研究報告(音声言語情報処理研究会)
  • [学会発表] 研究100連発(youtube動画13分35秒~22分09秒で研究紹介)2017

    • 著者名/発表者名
      山岸順一
    • 学会等名
      NIIオープンハウス
  • [学会発表] Extracting real-world observations from microblog2017

    • 著者名/発表者名
      Masato Yoshitake, Naoko Nitta, Kazuaki Nakamura, and Noboru Babaguchi
    • 学会等名
      IEEE International Conference on Multimedia Big Data (BigMM)
    • 国際学会
  • [学会発表] On-line geospatial term extraction from streaming geotagged tweets2017

    • 著者名/発表者名
      Takuya Kamimura, Naoko Nitta, Kazuaki Nakamura, and Noboru Babaguchi
    • 学会等名
      IEEE International Conference on Multimedia Big Data (BigMM)
    • 国際学会
  • [学会発表] PrivacyVisor: Privacy protection for preventing face detection from camera images2017

    • 著者名/発表者名
      Isao Echizen
    • 学会等名
      Workshop on Obfuscation
    • 国際学会 / 招待講演
  • [図書] 情報通信学会100年史(第2部 D 第2章, 2.2 情報セキュリティ)2017

    • 著者名/発表者名
      馬場口登, 越前功
    • 総ページ数
      6
    • 出版者
      電子情報通信学会
  • [備考] メディアクローン

    • URL

      http://www2c.comm.eng.osaka-u.ac.jp/proj/mc/index.html

  • [備考] Media Clone

    • URL

      http://www2c.comm.eng.osaka-u.ac.jp/proj/mc/eindex.html

  • [産業財産権] 生体特徴盗撮防止装着具及び盗撮防止方法2017

    • 発明者名
      越前功, 大金建夫
    • 権利者名
      大学共同利用機関法人情報・システム研究機構
    • 産業財産権種類
      特許
    • 産業財産権番号
      PCT/JP2017/035456
    • 外国

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi