• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

切り取り処理によるプロパガンダ戦略に対する防御技術基盤

研究課題

研究課題/領域番号 22K19777
研究種目

挑戦的研究(萌芽)

配分区分基金
審査区分 中区分60:情報科学、情報工学およびその関連分野
研究機関東北大学 (2023)
岡山大学 (2022)

研究代表者

栗林 稔  東北大学, データ駆動科学・AI教育研究センター, 教授 (50346235)

研究分担者 稲村 勝樹  広島市立大学, 情報科学研究科, 准教授 (70577395)
研究期間 (年度) 2022-06-30 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
2024年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2023年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2022年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
キーワード切り取り処理 / フェイクニュース / セマンティクス解析 / 自然言語処理 / ファクトチェック / フェイクコンテンツ / マルチメディアセキュリティ / プロパガンダ / 切り取り
研究開始時の研究の概要

本研究では,公式な動画発信の際に特定の範囲内であれば切り取り操作を許可するような前処理を施すことで,メディアによる編集の裁量権を損なわせることなく,悪意のある切り取りを困難にさせる.加工編集した際に生じる不自然な歪みを解析する従来研究の受け身的なアプローチではなく,積極的にコンテンツの編集許可権限を管理するアプローチにより実現させる.
コンテンツ中の発言において,前後関係の文脈や意味関係を自動的に解釈し,関連する発言内容の箇所を一括りのシーンのように切り出すことは許可する.そのために,自動的に前後関係の文脈や意味関係を解釈させて,いくつかの時系列データとしてまとめから原本性保証処理を施す.

研究実績の概要

公式に公開される動画において,悪用される恐れのある発言箇所を事前にチェックし,意図的な切り取りや切り貼り処理を事前に防ぐための手法を本研究では扱う.切り貼りされる動画の時系列は変更されるが,映像や音声,音響信号を含むコンテンツ自体は改ざんされるわけではないため,DeepFake動画の解析する従来の手法では対処できない.そこで,本研究では,ある人物がスピーチしている動画の発言箇所から文字起こしを行い,その文章を対象に解析を行うアプローチを採用する.
本年度では,切り貼り処理により元の文章の意味と異なる文章となっているか否かを判定するため,自然言語処理システムとしてLLMモデルの適用を試みた.文字起こしにより取得した元の文章に対して,手動にて作成した意味の異なる文章を複数準備し,意味が異なる程度を数値化させる手法を検討した.LLMモデルに入力するプロンプトからの質問内容を適切に設定することで数値化する手法を複数提案し,その性能を評価した.意味の異ならない正常な範囲の切り貼り文章と,意味の異なる切り貼り文章のそれぞれにおいて、数値化された値の乖離する程度を調べ,有意な違いが確認される手順となるプロンプトの作成方法を考案することができた.
意味のことなる文章を作成する際に手動では大規模なシミュレーションが行えないいことが課題となっていた.また,動画によっては,意味の異なる切り貼り自体が困難なものも存在する.そこで,自動的に作成するために動画素材を大量に収集し,意味の異なる切り貼り動画の生成の可否を確認する方法についても研究を行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

意味の異なる切り貼り処理が行われた動画の問題は認知されてはいるものの,その研究自体は我々の知る限りでは過去になされておらず,そのために研究用の動作サンプルも集められていない.それゆえ,悪意のある切り貼りによって作成されたか否かを検証するための手法を考案する前の段階で,サンプル収集の困難さに直面している.一部、手動にて悪意のある切り貼りとみなされる動画を作成して,実験を進めているが,そのサンプルの妥当性に疑問が残ることから,引き続きサンプルの収集に時間を費やしているところである.

正常な範囲の切り貼り文章と,意味の異なる切り貼り文章を識別するための初期実験は終えており,考案した手法において数値上有意な違いを確認することはできたが,具体的な閾値の設定や,処理全体の流れをまとめるところには至っていない.また,意味の異なる切り貼りは許可させないようなパーミッションを設定しつつ,正常な範囲でのハイライト動画の作成の編集権を認めるための管理手法の開発は今後の課題として残されている.

今後の研究の推進方策

大規模言語モデル(LLM)を用いて,動画から文字起こしして得られた文章に対して,意味の異なる文を抜き出して切り貼り可能なものを,悪意のある切り貼り動画のサンプルとして作成するプログラムの作成までは行えている.今後,ChatGPT, Geminiなど複数のLLMを用いて,サンプルを多数作成し,交差検定などいくつかの場合分けした状況において,これまでに提案した識別手法の有効性を検証する.

また,入力された動画の切り貼りされた箇所を検出し,その前後関係を解析し,意味の異なる切り貼り処理が可能となるパターンを選出する手法を新たに考案し,前年度までの識別手法との比較を行う.

暗号技術に基づいて,切り貼りの許可・不許可を設定するアクセス制御の枠組みを考案する.特に,悪意のある編集となる判定基準となる文の組み合わせに対しては編集不可とする管理手法の枠組みを考案し,実装を進めていく.

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (36件)

すべて 2024 2023 2022 その他

すべて 国際共同研究 (2件) 雑誌論文 (8件) (うち国際共著 4件、 査読あり 8件、 オープンアクセス 4件) 学会発表 (26件) (うち国際学会 14件、 招待講演 6件)

  • [国際共同研究] Ahmedabad University(インド)

    • 関連する報告書
      2022 実施状況報告書
  • [国際共同研究] Aligarh Muslim University(インド)

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] Digital Watermarking - Meta-Survey and Techniques for Fake News Detection2024

    • 著者名/発表者名
      Malanowska Agnieszka、Mazurczyk Wojciech、Araghi Tanya Koohpayeh、Megias David、Kuribayashi Minoru
    • 雑誌名

      IEEE Access

      巻: 12 ページ: 36311-36345

    • DOI

      10.1109/access.2024.3374201

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Designing Practical End-to-End System for Soft Biometric-Based Person Retrieval From Surveillance Videos2023

    • 著者名/発表者名
      Chaudhari Jay N.、Galiyawala Hiren、Kuribayashi Minoru、Sharma Paawan、Raval Mehul S.
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 133640-133657

    • DOI

      10.1109/access.2023.3337108

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] White Box Watermarking for Convolution Layers in Fine-Tuning Model Using the Constant Weight Code2023

    • 著者名/発表者名
      Kuribayashi Minoru、Yasui Tatsuya、Malik Asad
    • 雑誌名

      Journal of Imaging

      巻: 9 号: 6 ページ: 117-117

    • DOI

      10.3390/jimaging9060117

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Gait Recognition Scheme Focusing on Operating Characteristics at Feature Points Detected by OpenPose2023

    • 著者名/発表者名
      Tanaka Chinatsu、Kuribayashi Minoru、Funabiki Nobuo
    • 雑誌名

      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)

      巻: 1 ページ: 613-619

    • DOI

      10.1109/apsipaasc58517.2023.10317291

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Study on Face Landmark-based Analysis for Synthetic Media Identification Generated by Adversarial Generative Networks2023

    • 著者名/発表者名
      Ura Akinobu、Kuribayashi Minoru、Funabiki Nobuo
    • 雑誌名

      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)

      巻: 1 ページ: 1684-1690

    • DOI

      10.1109/apsipaasc58517.2023.10317492

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] A Study on Eliminating Biased Node in Federated Learning2023

    • 著者名/発表者名
      Akai Reon、Kuribayashi Minoru、Funabiki Nobuo
    • 雑誌名

      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)

      巻: 1 ページ: 620-627

    • DOI

      10.1109/apsipaasc58517.2023.10317147

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Coded DNN watermark: robustness against pruning models using constant weight code2022

    • 著者名/発表者名
      T. Yasui, T. Tanaka, A. Malik, M. Kuribayashi
    • 雑誌名

      Journal of Imaging

      巻: vol.8, no.6 号: 6 ページ: 152-152

    • DOI

      10.3390/jimaging8060152

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Classification of Screenshot Image Captured in Online Meeting System2022

    • 著者名/発表者名
      M. Kuribayashi, K. Kamakari, N. Funabiki
    • 雑誌名

      Lecture Notes in Computer Science

      巻: 13480 ページ: 244-255

    • DOI

      10.1007/978-3-031-14463-9_16

    • ISBN
      9783031144622, 9783031144639
    • 関連する報告書
      2022 実施状況報告書
    • 査読あり
  • [学会発表] 悪意のある切り貼り操作による動画編集に対する防御手法の一考案2024

    • 著者名/発表者名
      笠井健太郎, 栗林稔, 稲村勝樹, 舩曵信生
    • 学会等名
      2024年暗号と情報セキュリティシンポジウム(SCIS2024)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 画像生成モデルの推定による汎用的なフェイク画像検出器の一考察2024

    • 著者名/発表者名
      瀬尾亮太, 浦晃暢, 舩曵信生, 栗林稔
    • 学会等名
      2024年暗号と情報セキュリティシンポジウム(SCIS2024)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] パッチ型敵対的ノイズ生成手法における3Dモデルの適用の一考察2024

    • 著者名/発表者名
      瀧脇大登, 栗林稔, 舩曵信生
    • 学会等名
      信学技報, EMM 1月
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] JPEG圧縮由来の歪み信号に基づくフィルタリングを活用した敵対的事例検出手法2024

    • 著者名/発表者名
      角森健太, 栗林稔, 舩曵信生
    • 学会等名
      信学技報, EMM 1月
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] CNN画像分類器に対する敵対的攻撃の問題とその対策2024

    • 著者名/発表者名
      栗林稔
    • 学会等名
      IEICE SIP研究会
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] Gait Recognition Scheme Focusing on Operating Characteristics at Feature Points Detected by OpenPose2023

    • 著者名/発表者名
      Tanaka Chinatsu、Kuribayashi Minoru、Funabiki Nobuo
    • 学会等名
      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] A Study on Eliminating Biased Node in Federated Learning2023

    • 著者名/発表者名
      Akai Reon、Kuribayashi Minoru、Funabiki Nobuo
    • 学会等名
      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Study on Face Landmark-Based Analysis for Synthetic Media Identification Generated by Adversarial Generative Networks2023

    • 著者名/発表者名
      Ura Akinobu、Kuribayashi Minoru、Funabiki Nobuo
    • 学会等名
      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Spoofing Face Recognition Systems with Adversarial Examples: Challenges and Countermeasures2023

    • 著者名/発表者名
      Mehul S. Raval, Minoru Kuribayashi, Mohendra Roy
    • 学会等名
      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] プルーニングに対する耐性を高めるための重み一定符号化による深層学習モデル保護用電子透かし2023

    • 著者名/発表者名
      栗林稔
    • 学会等名
      IEICEソサイエティ大会
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] Classification of Fake Content Created by Generative AI2023

    • 著者名/発表者名
      Minoru Kuribayashi
    • 学会等名
      International Conference on Computer and Communications Management (ICCCM 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Multimedia Forensics for Fake Content Classification2023

    • 著者名/発表者名
      Minoru Kuribayashi
    • 学会等名
      International Conference on Emerging Computational Intelligence (ICECI 2023)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] プライバシ保護に向けたOpenPose骨格推定を用いた人の頭部位置検出2023

    • 著者名/発表者名
      瀬尾亮太, 田中千奈月, 栗林稔, 舩曵信生
    • 学会等名
      信学技報, EMM 3月
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] OpenPoseで検出した特徴点における動作特性に注目した歩容認証2023

    • 著者名/発表者名
      田中千奈月, 栗林稔, 舩曵信生
    • 学会等名
      信学技報, EMM 3月
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Federated Learningにおいて悪意のある分散ノードを除外するための一検討2023

    • 著者名/発表者名
      赤井怜音, 栗林稔, 舩曵信生
    • 学会等名
      信学技報, EMM 3月
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 敵対的生成ネットワークによって生成されたシンセティックメディア識別のための画像処理解析の検討2023

    • 著者名/発表者名
      浦晃暢, 栗林稔, 舩曵信生
    • 学会等名
      2023年暗号と情報セキュリティシンポジウム(SCIS2023)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ブロックチェーン技術によるコンテンツの加工編集履歴を管理するコンテンツクレデンシャル機能の一考案2023

    • 著者名/発表者名
      笠井健太郎, 栗林稔, 舩曵信生, 越前功
    • 学会等名
      2023年暗号と情報セキュリティシンポジウム(SCIS2023)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] A Vision Transformer-Based Approach to Bearing Fault Classification via Vibration Signals2022

    • 著者名/発表者名
      A. H. Zim, A. Ashraf, A. Iqbal, A. Malik, M. Kuribayashi
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Reversible Data Hiding in Encrypted Text Using Paillier Cryptosystem2022

    • 著者名/発表者名
      A. Malik, A. Ashraf, H. Wu, M. Kuribayashi
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Detection and Correction of Adversarial Examples Based on JPEG-Compression-Derived Distortion2022

    • 著者名/発表者名
      K. Tsunomori, Y. Yamasaki, M. Kuribayashi, N. Funabiki, I. Echizen
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Survey on Vision Based Fake News Detection and Its Impact Analysis2022

    • 著者名/発表者名
      M. S. Raval, M. Roy, M. Kuribayashi
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Defense Against Adversarial Examples Using Beneficial Noise2022

    • 著者名/発表者名
      P. Raval, H. Khakhi, M. Kuribayashi, M. S. Raval
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Privacy Protection Against Automated Tracking System Using Adversarial Patch2022

    • 著者名/発表者名
      H. Takiwaki, M. Kuribayashi, N. Funabiki, M. S. Raval
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Fake News Detection and its impact analysis2022

    • 著者名/発表者名
      Mehul S. Raval, Mohendra Roy, Minoru Kuribayashi
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Classification of Screenshot Image Captured in Online Meeting System2022

    • 著者名/発表者名
      M. Kuribayashi, K. Kamakari, N. Funabiki
    • 学会等名
      International IFIP Cross Domain Conference for Machine Learning & Knowledge Extraction (CD-MAKE2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 重み一定符号を用いたDNN電子透かしの検出法2022

    • 著者名/発表者名
      安井達哉, Malik Asad, 栗林稔
    • 学会等名
      第21回情報科学技術フォーラム(FIT2022)
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-07-05   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi