生体検知とASVspoofチャレンジによる安全・安心な音声情報処理システムの実現

• 研究課題/領域番号: 18KT0051
• 研究種目: 基盤研究(B)
• 配分区分: 基金
• 応募区分: 特設分野
• 研究分野: 情報社会におけるトラスト
• 研究機関: 国立情報学研究所
• 研究代表者: 山岸 順一 国立情報学研究所, コンテンツ科学研究系, 教授 (70709352)
• 研究分担者: 大木 哲史 静岡大学, 情報学部, 准教授 (80537407)
• 研究期間 (年度): 2018-07-18 – 2021-03-31
• 研究課題ステータス: 完了 (2020年度)
• 配分額: 18,460千円 (直接経費: 14,200千円、間接経費: 4,260千円); 2020年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円); 2019年度: 5,720千円 (直接経費: 4,400千円、間接経費: 1,320千円); 2018年度: 7,150千円 (直接経費: 5,500千円、間接経費: 1,650千円)
• キーワード: 音声情報処理 / 話者照合 / 生体検知 / 生体認証 / 音声インタフェース / なりすまし / ASVspoofチャレンジ

研究成果の概要

音声情報処理が社会に普及するにつれ、話者照合や音声認識に対する攻撃が起き始めた。 本研究の目的は、音声の生体検知技術を高度化し、問題の一解決法を提示することである。 生体検知とは「他人により許可なく 取得され、加工され、外部デバイスにより再生された音声」と「生体からその場で発声した生の音声」を区別する機械学習技術である。そこで最先端の音声合成や声質変換技術により合成された音声を大量に含むDBを構築、コンペティションを開催、分野全体で生体検知技術を高度化することを行った。聴覚上は差がわからない様な加工音声に対しても、生体検知を行える様になり、安全安心な音声情報処理を実現する一解決法が得られた。

研究成果の学術的意義や社会的意義

音声情報処理は多くのスマートデバイスで利用されており、社会を支える基盤技術である。音声の生体検知は音声インターフェースの手軽さとトラストの両方を同時に実現する技術であり、社会的意義は高い。実際、本研究を通して構築し、一般公開したDBは、世界のアカデミック組織のみならず、多くの企業にも利用されている。学術的意義も高く、多くの国際会議論文が本DBを利用している。現在AI技術により生成されたメディアが悪用される事が危惧され、deepfakeと呼ばれることもある。本研究は、音声を対象に研究を行ったが、その成果は映像や文字等にも応用可能であると考えられ、今後さらに発展させることが可能であると期待される。

研究成果

• [国際共同研究] Eurecom/ロレーヌ大学/Avignon University(フランス)
• [国際共同研究] University of East Finland/Aalto University(フィンランド)
• [国際共同研究] 中国科学技術大学/iFlytek Research(中国)
• [国際共同研究] MIT/Google Inc(米国)
• [国際共同研究] University of Edinburgh(英国)
• [国際共同研究]
• [国際共同研究] Eurecom/INRIA(フランス)
• [国際共同研究] University of East Finland(フィンランド)
• [国際共同研究] University of Edinburgh(英国)
• [国際共同研究] Johns Hopkins University(米国)
• [国際共同研究] Eurecom/INRIA(フランス)
• [国際共同研究] University of East Finland(フィンランド)
• [国際共同研究] Johns Hopkins University(米国)
• [雑誌論文] ASVspoof 2019: Spoofing Countermeasures for the Detection of Synthesized, Converted and Replayed Speech (2021)
  • 著者名/発表者名: Nautsch Andreas、Wang Xin、Evans Nicholas、Kinnunen Tomi H.、Vestman Ville、Todisco Massimiliano、Delgado Hector、Sahidullah Md、Yamagishi Junichi、Lee Kong Aik
  • 雑誌名: IEEE Transactions on Biometrics, Behavior, and Identity Science 巻: 3 号: 2 ページ: 252-265
  • DOI: 10.1109/tbiom.2021.3059479
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] ASVspoof 2019: a large-scale public database of synthesized, converted and replayed speech (2020)
  • 著者名/発表者名: Xin Wang, Junichi Yamagishi, Massimiliano Todisco, Hector Delgado, Andreas Nautsch, Nicholas Evans, Md Sahidullah, Ville Vestman, Tomi Kinnunen, Kong Aik Lee, Lauri Juvela, Paavo Alku, Yu-Huai Peng, Hsin-Te Hwang, Yu Tsao, Hsin-Min Wang, Sebastien Le Maguer, Markus Becker, Fergus Henderson他計40名
  • 雑誌名: Computer Speech & Language 巻: 64 ページ: 101114-101114
  • DOI: 10.1016/j.csl.2020.101114
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Tandem Assessment of Spoofing Countermeasures and Automatic Speaker Verification: Fundamentals (2020)
  • 著者名/発表者名: Kinnunen Tomi、Delgado Hector、Evans Nicholas、Lee Kong Aik、Vestman Ville、Nautsch Andreas、Todisco Massimiliano、Wang Xin、Sahidullah Md、Yamagishi Junichi、Reynolds Douglas A.
  • 雑誌名: IEEE/ACM Transactions on Audio, Speech, and Language Processing 巻: 28 ページ: 2195-2210
  • DOI: 10.1109/taslp.2020.3009494
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] An Initial Investigation on Optimizing Tandem Speaker Verification and Countermeasure Systems Using Reinforcement Learning (2020)
  • 著者名/発表者名: Kanervisto Anssi、Hautamaki Ville、Kinnunen Tomi、Yamagishi Junichi
  • 雑誌名: ISCA The Speaker and Language Recognition Workshop Odyssey 2020 巻: － ページ: 151-158
  • DOI: 10.21437/odyssey.2020-22
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Study on Possibility of Estimating Smartphone Inputs from Tap Sounds (2020)
  • 著者名/発表者名: Yumo Ouchi, Ryosuke Okudera, Yuya Shiomi, Kota Uehara, Ayaka Sugimoto, Tetsushi Ohki, Masakatsu Nishigaki
  • 雑誌名: 2020 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC) 巻: － ページ: 1425-1429
  • 査読あり / オープンアクセス
• [雑誌論文] An initial investigation on optimizing tandem speaker verification and countermeasure systems using reinforcement learning (2020)
  • 著者名/発表者名: Anssi Kanervisto, Ville Hautamaki, Tomi Kinnunen, Junichi Yamagishi
  • 雑誌名: Proc. Odyssey 2020 The Speaker and Language Recognition Workshop 巻: - ページ: 1-8
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Attentive Filtering Networks for Audio Replay Attack Detection (2019)
  • 著者名/発表者名: C. Lai, A. Abad, K. Richmond, J. Yamagishi, N. Dehak and S. King
  • 雑誌名: Proc. 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 巻: - ページ: 6316-6320
  • DOI: 10.1109/icassp.2019.8682640
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] ASVspoof 2019: Future Horizons in Spoofed and Fake Audio Detection (2019)
  • 著者名/発表者名: Massimiliano Todisco, Xin Wang, Ville Vestman, Md. Sahidullah, Hector Delgado, Andreas Nautsch, Junichi Yamagishi, Nicholas Evans, Tomi H. Kinnunen, Kong Aik Lee
  • 雑誌名: Proc. Interspeech 2019 巻: - ページ: 1008-1012
  • DOI: 10.21437/interspeech.2019-2249
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Efficient Spoofing Attack Detection against Unknown Sample using End-to-End Anomaly Detection (2019)
  • 著者名/発表者名: Ohki Tetsushi、Gupta Vishu、Nishigaki Masakatsu
  • 雑誌名: 2019 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC) 巻: - ページ: 224-230
  • DOI: 10.1109/apsipaasc47483.2019.9023183
  • 査読あり / オープンアクセス
• [雑誌論文] Attentive Filtering Networks for Audio Replay Attack Detection (2019)
  • 著者名/発表者名: Cheng-I Lai, Alberto Abad, Korin Richmond, Junichi Yamagishi, Najim Dehak, Simon King
  • 雑誌名: 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 巻: 1 ページ: 1-5
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Integrated Presentation Attack Detection and Automatic Speaker Verification: Common Features and Gaussian Back-end Fusion (2018)
  • 著者名/発表者名: Massimiliano Todisco, Hector Delgado, Kong Aik Lee, Md Sahidullah, Nicholas Evans, Tomi Kinnunen, Junichi Yamagishi
  • 雑誌名: Proc. Interspeech 2018 巻: 1 ページ: 77-81
  • DOI: 10.21437/interspeech.2018-2289
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Transforming acoustic characteristics to deceive playback spoofing countermeasures of speaker verification systems (2018)
  • 著者名/発表者名: Fuming Fang, Junichi Yamagishi, Isao Echizen, Md Sahidullah, Tomi Kinnunen
  • 雑誌名: 2018 IEEE International Workshop on Information Forensics and Security (WIFS) 巻: 1 ページ: 1-9
  • DOI: 10.1109/wifs.2018.8630764
  • 査読あり / オープンアクセス / 国際共著
• [学会発表] ディープフェイク画像からの個人再識別化に関する検討 (2021)
  • 著者名/発表者名: 藤垣成汰朗, 成田惇, 塩見裕哉, 菅沼弥生, 西垣正勝, 大木哲史
  • 学会等名: 暗号と情報セキュリティシンポジウム2021
• [学会発表] スマートフォンのタップ音からの入力内容推測可能性に関する研究(その2) (2021)
  • 著者名/発表者名: 大内結雲, 奥寺瞭介, 塩見祐哉, 大木哲史, 西垣正勝
  • 学会等名: 暗号と情報セキュリティシンポジウム2021
• [学会発表] 深層生成モデルによるメディア生成とフェイク検知 (2020)
  • 著者名/発表者名: 山岸順一
  • 学会等名: 第23回情報論的学習理論ワークショップ (IBIS2020)
  • 招待講演
• [学会発表] 生体認証を回避する物理的なAdversarial Exampleの検討 (2020)
  • 著者名/発表者名: Vo Ngoc Khoi Nguyen, 西垣正勝, 大木哲史
  • 学会等名: 第82回情報処理学会全国大会
• [学会発表] スマートフォンのタップ音からの入力内容推測可能性に関する研究 (2020)
  • 著者名/発表者名: 大内結雲, 奥寺瞭介, 塩見裕哉, 上原航汰, 杉本彩歌, 大木哲史, 西垣正勝
  • 学会等名: 暗号と情報セキュリティシンポジウム2020,
• [学会発表] 話者照合の生体検知チャレンジ「ASVspoof 2019」の概要と今後の展望 (2019)
  • 著者名/発表者名: 山岸順一
  • 学会等名: 第9回バイオメトリクスと認識・認証シンポジウム
  • 招待講演
• [学会発表] フェイク動画問題: メディア解析技術によるアプローチ (2019)
  • 著者名/発表者名: 山岸 順一
  • 学会等名: JST/CRDS 公開ワークショップ 「意思決定のための情報科学 ～情報氾濫・フェイク・分断に立ち向かうことは可能か～」 2019年7月25日
  • 招待講演
• [学会発表] Speaker Identity Cloning and Protection (2019)
  • 著者名/発表者名: Junichi Yamagishi
  • 学会等名: AFEKA SPEECH PROCESSING CONFERENCE 2019: 10-YEAR ANNIVERSARY CONFERENCE
  • 国際学会 / 招待講演
• [学会発表] Attentive Filtering Networks for Audio Replay Attack Detection (2019)
  • 著者名/発表者名: Cheng-I Lai, Alberto Abad, Korin Richmond, Junichi Yamagishi, Najim Dehak, Simon King
  • 学会等名: 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
  • 国際学会
• [学会発表] Integrated Presentation Attack Detection and Automatic Speaker Verification: Common Features and Gaussian Back-end Fusion (2018)
  • 著者名/発表者名: Massimiliano Todisco, Hector Delgado, Kong Aik Lee, Md Sahidullah, Nicholas Evans, Tomi Kinnunen, Junichi Yamagishi
  • 学会等名: Interspeech 2018
  • 国際学会
• [学会発表] Transforming acoustic characteristics to deceive playback spoofing countermeasures of speaker verification systems (2018)
  • 著者名/発表者名: Fuming Fang, Junichi Yamagishi, Isao Echizen, Md Sahidullah, Tomi Kinnunen
  • 学会等名: 2018 IEEE International Workshop on Information Forensics and Security (WIFS)
  • 国際学会
• [図書] Introduction to Voice Presentation Attack Detection and Recent Advances (Chapter 15, Handbook of Biometric Anti-Spoofing, 2nd edition) (2019)
  • 著者名/発表者名: Md Sahidullah, Hector Delgado, Massimiliano Todisco, Tomi Kinnunen, Nicholas Evans, Junichi Yamagishi, and Kong-Aik Lee
  • 総ページ数: 41
  • 出版者: Springer
  • ISBN: 9783319926261
• [備考] ASVSpoof challenge website
  • URL: https://www.asvspoof.org
• [備考] ASVspoof website
  • URL: https://www.asvspoof.org
• [備考] ASVspoof 2019
  • URL: http://www.asvspoof.org