• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2016 年度 実績報告書

メディアクローン攻撃を防御するコミュニケーション系

研究課題

研究課題/領域番号 16H06302
研究機関大阪大学

研究代表者

馬場口 登  大阪大学, 工学研究科, 教授 (30156541)

研究分担者 越前 功  国立情報学研究所, 大学共同利用機関等の部局等, 教授 (30462188)
研究期間 (年度) 2016-05-31 – 2021-03-31
キーワードメディア認識 / 生体情報の保護 / プライバシー情報の保護 / ソーシャルメディア / 文書生成 / 顔画像生成 / 歩容シルエット / 真贋識別
研究実績の概要

本研究の目的を達成するため,以下の(A)-(C)の課題に分けて,研究開発を進めた.
(A) 情報保護手法:市販のカメラで撮影した指の写真からでも指紋情報が抽出できることを示すとともに,指紋盗撮防止手法を検討した,本手法はThe TIMESなどで1000回以上掲載され,さらに情報通信関連で世界最大級の展示会CeBIT2017に出展し,3000人以上が来訪し,注目を集めた.プライバシー保護として,情報提供サービスにおける利用者の移動履歴保護技術を開発し,MMM2017でBest Paper Runner-upに選ばれた.SNSアカウントの非匿名化方法に関する提案は,I3E2016においてBest Paper Awardを受賞した.
(B) メディアクローン生成:Voice Conversion Challenge 2016における声質変換技術の得失を整理し明らかにした.話者適応技術に関して,深層学習でも少量の声サンプルからクローンが生成できることを実験的に示した.この他,本課題の基礎となる,話者照合と声質変換の共通のモデルでの実現方法,SNSの画像付き投稿のクローン,顔画像クローン,文書クローンの生成に関する予備的検討も始めた.
(C) メディアクローン認識:歩容認証を欺くクローンの脅威を考慮し,歩容シルエットの真贋識別手法を考案した.ASVSpoof2015とその後発表された音声クローンの動向を分析し,その成果はIEEE Journal of Selected Topics in Signal Processing (IF:5.301)に採録された.加えて,CG画像と自然画像の自動識別手法の研究も行った.
その他,本課題の全体像について,IEICE-CQ研究会で招待講演を行った.IEEE論文誌では生体検知に関する特集号の企画も行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

研究の初年度において,(A)フェイク情報化防止のための生体・プライバシー情報などの保護手法の確立,(B)フェイク情報を起源とするメディアクローン生成法の実現可能性の検証,(C)メディアクローン攻撃の防御シールドのメディアクローン認識による構成という課題の基礎部分に着手した.大まかな枠組みの提案,および要素技術の実装,検証を行い,当初の予定通りの進捗状況といえる.
(A)について,指紋盗撮防止手法については,ジャミングパターンによる視覚的違和感の低減,および攻撃者によるパターンの除去を困難にするために,これまでの幾何学的パターンの代わりに疑似指紋パターンを用いた改良手法を提案している.内心の一種である,興味のある場所への訪問履歴の保護を可能とする画像認識フレームワークは,シミュレーション実験に加え実環境における実験でもその有効性を検証できている.
(B)について,メディアクローン生成に関しては,ソーシャルメディアクローン生成について枠組みの提案,実装,検証を行ったのに加えて,文書クローン,顔画像クローンの生成にも着手し,基本的な手法の提案を行い,実装に向けて手法を洗練化している.
(C)について,歩容クローンをはじめとする人物像クローンの認識技術については,その実現可能性が確認され,今後の技術進展を図る.話者照合システムの生体検知精度についてはさらなる評価を加えて精度向上を進めている.固定フレーズ型話者照合に対する音声クローン攻撃の自動検出の実現も道筋が見え始めている.

今後の研究の推進方策

(A)について,個人の識別や認証に使われる指紋以外の生体情報である,虹彩や指静脈,手のひら静脈も含めた生体情報ごとの特徴に合わせて,対象者に接触しない状態で対象者の生体情報を取得する手段を検討する.さらに,このような取得を防止する手法について検討し,一連の防止手法を生体情報盗撮防止技術として確立する.また指紋盗撮防止技術については,企業と共同して社会実装を目指す.環境情報の改ざん防止として,映像における改ざん検出に関する研究を進める.加えて,顔や身体像(歩容)の匿名化についても研究を加速させる.
(B)では,少ないサンプルから任意の文字に対して個人性を考慮した手書き文字クローンの生成と,顔画像と音声が同期した顔画像クローンの生成を進める.さらに(C)での歩容クローンの識別技術の更なる発展を目的として,歩容クローンの生成技術を詳細に検討するとともに,静止画から動作クローン映像を生成する手法の開発も行う.それに加えて,ソーシャルメディアクローン生成に関する技術開発を進める.
(C)について,(B)でのソーシャルメディア関連の研究に基づき、ソーシャルメディアにおけるなりすましの検出についても取り組む。音声クローンについては,これまで別々に検討されていた収録音声のプレイバック攻撃、音声合成攻撃,声質変換攻撃の全てをカバーしたデータベースを新たに構築することを目指す.さらに,最近の音声合成法が、既存のanti-spoofing技術では対応できないと予想され,新たな防御法の検討が必要であるため,この拡張データベースを元に話者照合システムの安全性をさらに向上させることに取り組む.
さらに(D)として,メディアクローン攻撃に関連したコミュニケーション系のモデル化にも着手する.

備考

2016,04-2017.03の間に,本課題に関連する13件の取材協力と,5件の受賞がある.

  • 研究成果

    (43件)

すべて 2017 2016 その他

すべて 国際共同研究 (6件) 雑誌論文 (4件) (うち国際共著 2件、 査読あり 4件、 オープンアクセス 1件) 学会発表 (30件) (うち国際学会 17件、 招待講演 1件) 備考 (2件) 産業財産権 (1件)

  • [国際共同研究] エジンバラ大学(英国)

    • 国名
      英国
    • 外国機関名
      エジンバラ大学
  • [国際共同研究] EURECOMU研究所(フランス)

    • 国名
      フランス
    • 外国機関名
      EURECOMU研究所
  • [国際共同研究] アルト大学/東フィンランド大学(フィンランド)

    • 国名
      フィンランド
    • 外国機関名
      アルト大学/東フィンランド大学
  • [国際共同研究] Institute for Infocomm Research(シンガポール)

    • 国名
      シンガポール
    • 外国機関名
      Institute for Infocomm Research
  • [国際共同研究] ウィーン工科大学(オーストリア)

    • 国名
      オーストリア
    • 外国機関名
      ウィーン工科大学
  • [国際共同研究]

    • 他の国数
      1
  • [雑誌論文] Provable Identity Based User Authentication Scheme on ECC in Multi-server Environment2017

    • 著者名/発表者名
      Truong Toan-Thinh、Tran Minh-Triet、Duong Anh-Duc、Echizen Isao
    • 雑誌名

      Wireless Personal Communications

      巻: 95 ページ: 2785~2801

    • DOI

      10.1007/s11277-017-3961-5

    • 査読あり / 国際共著
  • [雑誌論文] 時間領域へのウェーブレットフィルタの加減算による音響電子透かしの提案2016

    • 著者名/発表者名
      伊藤世紀、姜玄浩、岩村惠市、金田北洋、越前功
    • 雑誌名

      情報処理学会論文誌

      巻: 57 ページ: 1911~1920

    • 査読あり
  • [雑誌論文] ステガノグラフィ(ANGO)の特性とテンプレートマッチングへの応用に関する研究2016

    • 著者名/発表者名
      石塚裕一、越前功、岩村惠市、櫻井幸一
    • 雑誌名

      情報処理学会論文誌

      巻: 57 ページ: 1921~1932

    • 査読あり
  • [雑誌論文] Anti-spoofing for Text-independent Speaker Verification: An Initial Database, Comparison of Countermeasures, and Human Performance2016

    • 著者名/発表者名
      Zhizheng Wu、Phillip L. De Leon、Cenk Demiroglu、Ali Khodabakhsh、Simon King、Zhen-Hua Ling、Daisuke Saito、Bryan Stewart、Tomoki Toda、Mirjam Wester、Junichi Yamagishi
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 24 ページ: 768~783

    • DOI

      10.1109/TASLP.2016.2526653

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Distinguishing Computer Graphics from Natural Images using Convolution Neural Networks2017

    • 著者名/発表者名
      Nicolas Rahmouni、Vincent Nozick、Junichi Yamagishi、Isao Echizen
    • 学会等名
      IEEE International Workshop on Information Forensics and Security 2017 (WIFS 2017)
    • 国際学会
  • [学会発表] CycleGANを用いた高品質なノンパラレル声質変換2017

    • 著者名/発表者名
      房福明、山岸順一、越前功
    • 学会等名
      音声言語シンポジウム
  • [学会発表] 実世界の状況を考慮したソーシャルメディアクローン生成2017

    • 著者名/発表者名
      坂本宏祐、新田直子、中村和晃、馬場口登
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] 輪郭形状の滑らかさに基づく歩容シルエットクローンの識別2017

    • 著者名/発表者名
      生野祐輝、中村和晃、新田直子、馬場口登
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] ユーザの性格を考慮したソーシャルメディアへの画像投稿傾向のモデリング2017

    • 著者名/発表者名
      大西祐貴、中村和晃、新田直子、馬場口登
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会 (PRMU)
  • [学会発表] マイクロブログからのリアルタイム地域情報抽出2017

    • 著者名/発表者名
      上村卓也、新田直子、中村和晃、馬場口登
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム (DEIM 2017)
  • [学会発表] マイクロブログからの関連実世界観測情報の抽出2017

    • 著者名/発表者名
      吉武真人、新田直子、中村和晃、馬場口登
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム (DEIM 2017)
  • [学会発表] 継続認証実現に向けた歩行中の心拍データ系列を用いた個人認証2017

    • 著者名/発表者名
      吉田崇晃、河野和宏、馬場口登
    • 学会等名
      電子情報通信学会 マルチメディア情報ハイディング・エンリッチメント研究会 (EMM)
  • [学会発表] 画像入力型情報検索システムにおける利用者の位置履歴の保護2017

    • 著者名/発表者名
      藤井宏次朗、中村和晃、新田直子、馬場口登
    • 学会等名
      電子情報通信学会 マルチメディア情報ハイディング・エンリッチメント研究会 (EMM)
  • [学会発表] メディアクローン攻撃を防御するコミュニケーション系―構想・チャレンジ・アプローチ―2017

    • 著者名/発表者名
      馬場口登
    • 学会等名
      電子情報通信学会 コミュニケーションクオリティ研究会 (CQ)
    • 招待講演
  • [学会発表] Adapting and Controlling DNN-based Speech Synthesis using Input Codes2017

    • 著者名/発表者名
      Hieu-Thi Luong、Shinji Takaki、Gustav Eje Henter、Junichi Yamagishi
    • 学会等名
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017)
    • 国際学会
  • [学会発表] An Auto Regressive Recurrent Mixture Density Network for Parametric Speech Synthesis2017

    • 著者名/発表者名
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • 学会等名
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017)
    • 国際学会
  • [学会発表] Non-parallel Voice Conversion using I-vector PLDA: Towards Unifying Speaker Verification and Transformation2017

    • 著者名/発表者名
      Tomi Kinnunen、Lauri Juvela、Paavo Alku、Junichi Yamagishi
    • 学会等名
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017),
    • 国際学会
  • [学会発表] Investigation on an Autoregressive Recurrent Mixture Density Network for Parametric Speech Synthesis2017

    • 著者名/発表者名
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • 学会等名
      情報処理学会 音声言語情報処理研究会 (SLP)
  • [学会発表] A Framework of Privacy-preserving Image Recognition for Image-based Information Services2017

    • 著者名/発表者名
      Kojiro Fujii、Kazuaki Nakamura、Naoko Nitta、Noboru Babaguchi
    • 学会等名
      International Conference on MultiMedia Modeling (MMM 2017)
    • 国際学会
  • [学会発表] Efficiently Decodable Defective Items Detected by New Model of Noisy Group Testing2016

    • 著者名/発表者名
      Thach V. Bui、Tetsuya Kojima、Isao Echizen
    • 学会等名
      International Symposium on Information Theory and Its Applications (ISITA 2016)
    • 国際学会
  • [学会発表] Investigating the Impact of a Neural Network's Depth on Spectral and F0 Modelling for Parametric Speech Synthesis2016

    • 著者名/発表者名
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • 学会等名
      電子情報通信学会 音声研究会 (SP)
  • [学会発表] Privacy-protected Video Surveillance in Crowded Environments using Robust Watermarking2016

    • 著者名/発表者名
      Yuichi Kusama、Hyunho Kang、Keiichi Iwamura、Isao Echizen
    • 学会等名
      IEEE Global Conference on Consumer Electronics (IEEE GCCE 2016)
    • 国際学会
  • [学会発表] Image Watermarking using the Differences between Two Wavelet Filters2016

    • 著者名/発表者名
      YuFeng Yan、Hyunho Kang、Keiichi Iwamura、Isao Echizen
    • 学会等名
      IEEE Global Conference on Consumer Electronics (IEEE GCCE 2016)
    • 国際学会
  • [学会発表] Best Embedding Direction for Spread Spectrum-based Video Watermarking2016

    • 著者名/発表者名
      Natsuki Kokui、Hyunho Kang、Keiichi Iwamura、Isao Echizen
    • 学会等名
      IEEE Global Conference on Consumer Electronics (IEEE GCCE 2016)
    • 国際学会
  • [学会発表] BiometricJammer: ユーザの利便性を考慮した指紋データの盗撮防止手法2016

    • 著者名/発表者名
      大金建夫、越前功
    • 学会等名
      情報処理学会 コンピュータセキュリティシンポジウム2016 (CSS 2016)
  • [学会発表] The NII Speech Synthesis Entry for Blizzard Challenge 20162016

    • 著者名/発表者名
      Lauri Juvela、Xin Wang、Shinji Takaki、SangJin Kim、Manu Airaksinen、Junichi Yamagishi
    • 学会等名
      Blizzard Challenge workshop 2016
    • 国際学会
  • [学会発表] Investigating Very Deep Highway Networks for Parametric Speech Synthesis2016

    • 著者名/発表者名
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • 学会等名
      ISCA Workshop on Speech Synthesis (Satellite workshop after Interspeech 2016)
    • 国際学会
  • [学会発表] A Comparative Study of the Performance of HMM, DNN, and RNN based Speech Synthesis Systems Trained on Very Large Speaker-dependent Corpora2016

    • 著者名/発表者名
      Xin Wang、Shinji Takaki、Junichi Yamagishi
    • 学会等名
      ISCA Workshop on Speech Synthesis (Satellite workshop after Interspeech 2016)
    • 国際学会
  • [学会発表] Breaking Anonymity of Social Network Accounts by using Coordinated and Extensible Classifiers based on Machine Learning2016

    • 著者名/発表者名
      Eina Hashimoto、Masatsugu Ichino、Tetsuji Kuboyama、Isao Echizen、Hiroshi Yoshiura
    • 学会等名
      IFIP Conference on e-Business, e-Services and e-Society (I3E 2016)
    • 国際学会
  • [学会発表] The Voice Conversion Challenge 20162016

    • 著者名/発表者名
      Tomoki Toda、Ling-Hui Chen、Daisuke Saito、Fernando Villavicencio、Mirjam Wester、Zhizheng Wu、Junichi Yamagishi
    • 学会等名
      Interspeech 2016
    • 国際学会
  • [学会発表] Analysis of the Voice Conversion Challenge 2016 Evaluation Results2016

    • 著者名/発表者名
      Mirjam Wester、Zhizheng Wu、Junichi Yamagishi
    • 学会等名
      Interspeech 2016
    • 国際学会
  • [学会発表] Provable User Authentication Scheme in Telecare Medicine Information System using Elliptic Curve Cryptosystem2016

    • 著者名/発表者名
      Toan Thinh Truong、Duong Tien Phan、Minh Triet Tran、Anh Duc Duong、Isao Echizen
    • 学会等名
      International Conference on Availability, Reliability and Security (ARES 2016)
    • 国際学会
  • [学会発表] Voice Liveness Detection for Speaker Verification based on a Tandem Single/double-channel POP Noise Detector2016

    • 著者名/発表者名
      Sayaka Shiota、Fernando Villavicencio、Junichi Yamagishi、Nobutaka Ono、Isao Echizen、Tomoko Matsui
    • 学会等名
      The Speaker and Language Recognition Workshop (Odyssey 2016)
    • 国際学会
  • [学会発表] ウェアラブル端末から得られる長期心拍データ系列に着目したマルチモーダル所有者認証2016

    • 著者名/発表者名
      吉田崇晃、河野和宏、馬場口登
    • 学会等名
      電子情報通信学会 マルチメディア情報ハイディング・エンリッチメント研究会 (EMM)
  • [備考] メディアクローン

    • URL

      http://www2c.comm.eng.osaka-u.ac.jp/proj/mc/index.html

  • [備考] Media Clone

    • URL

      http://www2c.comm.eng.osaka-u.ac.jp/proj/mc/eindex.html

  • [産業財産権] 生体特徴盗撮防止装着具及び盗撮防止方法2017

    • 発明者名
      越前功、大金建夫
    • 権利者名
      越前功、大金建夫
    • 産業財産権種類
      特許
    • 産業財産権番号
      2017-51969

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi