| 研究課題/領域番号 |
16H06302
|
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
馬場口 登 大阪大学, 工学研究科, 教授 (30156541)
|
|---|
| 研究分担者 |
越前 功 国立情報学研究所, 情報社会相関研究系, 教授 (30462188)
|
|---|
| 研究期間 (年度) |
2016-05-31 – 2021-03-31
|
| キーワード | 生体・プライバシー情報の保護 / メディアクローン / 認識器クローン / 真贋識別 / 騙しのモデリング / 対戦型循環的実証実験 |
|---|
| 研究実績の概要 |
本研究の目的を達成するため，(A)フェイク情報化の防止，(B)メディアクローン（MC）の生成，(C)MCの認識，(D)モデリング，(E)実証実験を進めた．
(A)では，位置履歴からの内心情報の流出を防ぐ画像認識方式がIEEE TIFSに掲載された（新聞等報道）．また静脈認証に必要な静脈パターンは画像から抽出可能と指摘すると共に、静脈復元防止手法を開発した（新聞等報道）．さらに，画像や映像中の顔や全身像の匿名化手法の開発を推進した．(B)では，音声合成手法Deep Autoregressive ModelがIEEE/ACM ASLPに掲載された（新聞等報道）．また、音声に応じた口の動きを再現する動画生成手法を開発した．さらに，SNSの個人の投稿などの生成手法を開発した．(C)では，deepfakeなどの最新技術で生成された動画と，実写動画を判別する手法を開発した（新聞等報道）．また，肉筆文書とクローン文書の判別手法を開発した．さらに．ソーシャルメディアにおける実在人物と機械によるなりすましを判別する手法を開発した．一方、環境情報が改ざんされた動画の改ざん領域を検出する手法を開発した．(D)では，文書により人を騙すメール詐欺の事例について，メールの受信者が騙されるところをモデル化し，発表した国際会議で国際雑誌への投稿推薦を受けた．(E)では，音声メディアを対象に、対戦型循環的実証実験を開催した．音声クローン生成技術を競うVoice conversion challenge 2018では，23チームが参加した．音声クローン認識技術を競うASVspoof challenge 2019では，154チームが参加登録し、うち51チームがスコアを提出した．Google Brainなど17の世界の最先端研究所や企業が，構築した合成音声と変換音声をMCの事例として公開した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
(A)フェイク情報化防止のための生体・プライバシー情報などの保護手法の確立，(B)フェイク情報を起源とするメディアクローン生成法の具体化，(C)メディアクローン攻撃の防御シールドのメディアクローン認識による構成，(D)メディアクローン攻撃に関連したコミュニケーション系のモデル化，(E)各テーマの実証実験とデータベースの作成・公開に着手した．
(A)では，真のシルエットと判別が困難で、かつ歩容識別を不能化させるシルエットを生成する手法を開発した。また，k-匿名化の考えに基づく顔画像の匿名化に成功した．(B)では，現在の最新技術と比べても損失がない音声を，少量の学習データで容易かつ安定的に生成できた．顔動画生成手法は，2分以下の発話映像からでも適切な発話顔を生成できた．ソーシャルメディアでは，少量の投稿事例からの投稿生成に成功した。(C)では，生成されたMC動画と実写動画を判別する研究から，目周辺の特徴に違いが生じることがわかった．文書MCと肉筆文書の認識に関する研究では，字形の多様性・不均質性がMCと肉筆文書で違うことを明らかにした。(D)では，航空会社のJALで起きたメール詐欺の事例を扱い，昨年度のオレオレ詐欺にはなかった受け手から送り手への問い合わせを含むプロセスを数理論理的アプローチの一種であるチャンネル理論によってモデル化することで，動的に信念が構築されてメール受信者が騙されることを示した．(E)では，Voice conversion challenge 2018を開催し，267名の評価者により、人間を騙せるほど高品質な音声のMCは生成可能であると確認された。一方，ASVspoof challenge 2019では高品質なMCでも認識可能であると明らかになりつつある。
以上のように，手法の開発や実証実験を行うことができ，当初の計画以上に進展しているといえる．
|
| 今後の研究の推進方策 |
(A)では，生体・プライバシー・環境情報の保護に関する各課題を継続的に追究し，提案手法の完成度を上げるとともに，綿密な性能評価を実施する．同時に，保護処理の対象となる情報・データに対して，ハンドリング上の注意点，相違点，共通点を見出し，保護手法の体系化を図る．
(B)では，データ量と生成されるMCの品質の関係を，実験により定量的に解明する．発話顔動画クローン生成では，より自然な出力を目指し，時間方向の連続性を持つ生成手法を模索するとともに，瞬きなど口周辺以外の領域についても検討する．全身動作動画クローン生成では，静止画に写らない領域のテクスチャ生成の問題に対して，他者の動作動画を用いた学習を検討する．屋外画像クローン生成では，センサ間の時空間的同期関係や各センサの信頼度などの問題から学習データが多くのノイズを含み得るため，ノイズを考慮した学習方法などを検討する．
(C)では，真正メディアの変形や，実際に存在し得るMCの人的な生成などにより多様な学習データを収集し，汎用性の向上を図る．また，各MC認識手法の評価に関しても，より多様なMCの事例を対象とした汎用性評価が必要である．また，認識器自体がプライバシー情報として流出しフェイク情報化し得るという問題があり，このような認識器を認識器クローンと呼び，その防止法を新たに検討し始めている．
(D)では，情報が送受信される状況を，将来，普及が見込まれる仮想オブジェクト提示技術を用いた通信手段にも広げ，必要に応じてチャンネル理論あるいはそれに関連する形式体系を取り入れ，モデル化の対象とする欺瞞的コミュニケーション系を拡大して発展させる．
(E)については，研究コミュニティに浸透，定着させ，研究仲間の拡大を図る．また，音声以外のメディアについても循環的チャレンジの展開を試みる．顔画像や音声のデータベースの公開準備を進める．
|
| 備考 |
2018年4月～2019年3月の間に，本課題に関する34件の取材協力と，4件の受賞がある.
|
