2022 Fiscal Year Research-status Report
Research on Defense Against Propaganda Strategies by Malicious Cut-out Editing Process
| Project/Area Number |
22K19777
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
栗林 稔 岡山大学, 自然科学学域, 准教授 (50346235)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | 切り取り処理 / フェイクニュース / セマンティクス解析 / ファクトチェック |
|---|
| Outline of Annual Research Achievements |
公式に公開される動画において，悪用される恐れのある箇所およびその前後関係を示す箇所を自動的に識別して，意図的な切り取り処理の有無を検知する枠組みを本研究では対象として，関連技術のサーベイを行った．
国内だけでなくグローバルな研究とするために，対象とする言語を英語に絞り，公式動画して首脳国家の公式動画を扱うこととして，誰でもアクセス可能で公式に公開されている動画データセットを取得した．次に，それらの動画の発言箇所から文字起こしを行い，その文章に対して形態素解析を実行して，単語レベルで分割したデータセットを作成するための環境を構築した．
文章の意味を解析するために適した手法に関して公開ライブラリやソフトウエアをいくつか検証してきた．動画中の発言に応じて，いくつかのセグメントに分割させて，各セグメントに対して前後関係の初期解析を実施し，発言内容が本来の意味から逸脱していないかを主観評価実験により手動でも検証を行った．今後は，この処理を自動化させるための手法を考案する予定である．
動画中の映像解析とフレーム間で生じる整合性についても，情報ハイディング技術とフォレンジクス技術を拡張させる形で適用させるアプローチについても並列して行った．本研究で想定している解析手法を意図的に誤らせるための敵対的攻撃に対する対策を考慮して，悪意のある改ざんやノイズ付加の有無を調べる手法を考案した．深層学習技術を用いて，人工的に動画の発言内容の音声を変更して，それに応じて映像箇所を改変する形で作成されるフェイクコンテンツへの対策を検討し，その解決策を考案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究で対象とするコンテンツ中の発言の意味をポジティブとネガティブの二値に置き換えて，本来の意味から逸脱しているか否かの判定とさせるところは方針を立てて，進めているが，セマンティクス解析をどのように適用させるかの具体的な方針がうまく立てられていない．また，特定の範囲内における切り貼り処理を許可するための前処理については，暗号技術との融合が必要であり，その関連技術のサーベイが進んでいない
|
| Strategy for Future Research Activity |
暗号技術を用いたコンテンツ保護技術に関しては，広島市立大学の稲村先生に新しく共同研究者として参画して頂いた．セマンティクス解析の箇所においては，生成系AIであるGPT-4を活用して，切り取り処理された動画中の発言箇所と元の動画中の発言箇所の意味の違いを判別させるような形で，自動判別できないか調べる予定である
|
| Causes of Carryover |
学会発表などがオンラインで実施されたこともあり，想定していたよりも旅費が少なくなった．
今年度から共同研究者に入って頂き，非常勤研究員の雇用を行って，研究を加速させる予定である
|
