Explainable next-generation media forensics technologies based on fake media detection and automatic fact verification
| Project/Area Number |
21H04906
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
山岸 順一 国立情報学研究所, コンテンツ科学研究系, 教授 (70709352)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Kruengkrai Canasai 国立情報学研究所, コンテンツ科学研究系, 特任助教 (10895907)
Wang Xin 国立情報学研究所, コンテンツ科学研究系, 特任助教 (60843141)
|
|---|
| Project Period (FY) |
2021-04-05 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥41,990,000 (Direct Cost: ¥32,300,000、Indirect Cost: ¥9,690,000)
Fiscal Year 2022: ¥10,400,000 (Direct Cost: ¥8,000,000、Indirect Cost: ¥2,400,000)
Fiscal Year 2021: ¥13,000,000 (Direct Cost: ¥10,000,000、Indirect Cost: ¥3,000,000)
|
|---|
| Keywords | シンセティックメディア / 自動ファクトチェック / 音声情報処理 / 説明可能AI / 機械学習 / ディープフェイク / ファクトチェック / 深層学習 / media clone / deepfake detection / fact checking |
|---|
| Outline of Research at the Start |
本課題の核心をなす学術的問いは、「A Iによるフェイクメディアに加え、フェイクニュース等不正確な情報が氾濫するインフォデミック時代の今、どの様に、人々に正しいメディアや情報を提示する事ができるか？」である。そこで、以下の３つの課題に取り組む。
課題1 単純な真贋判定に加え、理解可能な根拠を人々へ説明可能な生体検知技術の実現
課題2 既知のメディア生成手法だけでなく、常に進化・改良されるメディア生成手法に対して、高精度に検知を行うフェイクメディア検出法の理論的枠組みの定式化と実現
課題3 クレームが科学的に正しいかどうかを自動判定する技術「自動ファクト照合」と相補的な融合を行ったメディア解析技術実現
|
| Outline of Annual Research Achievements |
本物に類似したフェイクメディアが機械学習により容易に生成でき、フェイクニュース等不正確な情報も氾濫するインフォデミック時代の今、適切な意思決定を支援すべく、次世代メディア解析技術を提案する。まずフェイクメディアの改ざん領域と手法を同定し根拠として表示する事で、真贋判定の説明可能性を向上させた生体検知手法を提案する。次に常に変化するメディア生成方法に頑健に対処するため、未知のフェイクメディア生成法を原理的に内包した新たな検知方法およびその学習法を提案する。更にファクトチェックを自動化した自動ファクト照合の高度化に取り組む。
【課題1】我々は機械学習により生成されたフェイクメディアを見破る技術を開発してきた。これは入力メディアの真贋判定を行う自動識別技術であるが、真か偽かを機械学習により単に予測するだけでは不十分であり、なぜ偽と判定したのか、そのエビデンスを人々が理解可能な方法で提示する必要があると考える。そこで2021年度は、改ざん可能性がある領域を時間領域において推定し表示する技術を開発した。
【課題2】メディア生成技術は常に変化する。それ故、未知手法によるフェイクメディアを頑健に検出しなければ、安定的な対応は望めない。そこで2021年度は、真偽を判定するネットワークを与えられたデータベースから単純に構築するだけではなく、学習用データベース自身を自動拡張する事で未知手法によるフェイクメディア検出を可能にする新たな枠組みを提案した。その他、フェイクメディアに対する判定信頼度を出力する手法の提案も行った。
【課題3】入力クレームの内容が正しいかどうかを自動判定する機械学習技術として自動ファクト照合がある。根拠となる論文や情報源を自動検索、該当文章や段落を自動で選択、真偽を回答する技術である。2021年度は、自己アテンション技術を利用した新モデルを提案し有用性を評価した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
課題３において提案した自己アテンション技術を利用した自動ファクト照合モデルは、FEVERという共通大規模データベースにおいて、非常に高性能な予測精度を成し遂げた。本手法のオープンソースプログラムおよび学習済みモデルは他の組織による研究において比較対象として利用され始めており、インパクトのある研究が成し遂げられたと客観的に言える。
また、課題１において発表した「改ざん可能性がある領域を時間領域において推定し表示する技術」を評価するために、PartialSpoofデータベースを無償公開した。このデータベースは既に11,000回以上ダウンロードされており、こちらもインパクトのある研究が成し遂げられたと客観的に言える。
|
| Strategy for Future Research Activity |
2022年度も引き続き、本研究の３重要課題の研究に取り組む。課題1は単純な真贋判定に加え、理解可能な根拠を人々へ説明可能な生体検知技術の実現である。課題2は既知のメディア生成手法だけでなく、常に改良されるメディア生成手法に対して、高精度に検知を行うフェイクメディア検出法の理論的定式化である。課題3は、入力クレームが正しいかどうかを自動判定する自動ファクト照合の高度化である。以下に各課題における今後の推進方策を記載する。
【課題1 説明可能な体検知技術】機械学習により生成されたフェイクメディアに対して真贋判定を行う自動識別技術において、なぜ偽と判定したのか、そのエビデンスを人々が理解可能な方法で提示する方法をさらに改善する。2022年度は改ざん可能性がある領域をグルーピング化するダイアリゼーション技術を新たに導入する。同時に、改ざん手法の推定・分類を行い、生成カテゴリを表示するなど、情報提示技術も改良する。
【課題2 未知手法によるフェイクメディアの検出】未知手法によるフェイクメディアを頑健に検出するために提案した学習用データベース自身を自動拡張する手法やフェイクメディアに対する判定信頼度計算方法を、機械学習の理論的観点からさらに高度化すると同時に、音声のみならず顔映像などのモデルにも適用する事を検討する。
【課題3 自動ファクト照合】入力クレームの内容が正しいかどうかを自動判定する機械学習技術として自動ファクト照合についても研究を発展させる。とりわけ、現在の情報源の知識やパラメータを保ったまま、新しい情報源の知識を深層学習モデルに追加可能する技術について検討を行う。
|
Report
(2 results)
Research Products
(11 results)
