• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層学習を用いたテレビの内容分析の革新:政治家の顔検出とトラッキング

研究課題

研究課題/領域番号 20K20513
研究種目

挑戦的研究(開拓)

配分区分基金
審査区分 中区分8:社会学およびその関連分野
研究機関神戸大学

研究代表者

小林 哲郎  神戸大学, 法学研究科, 研究員 (60455194)

研究分担者 松井 勇佑  東京大学, 大学院情報理工学系研究科, 講師 (80780676)
佐藤 真一  国立情報学研究所, コンテンツ科学研究系, 教授 (90249938)
研究期間 (年度) 2020-07-30 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
25,350千円 (直接経費: 19,500千円、間接経費: 5,850千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2021年度: 10,660千円 (直接経費: 8,200千円、間接経費: 2,460千円)
2020年度: 13,000千円 (直接経費: 10,000千円、間接経費: 3,000千円)
キーワード深層学習 / テレビの内容分析 / 顔検出 / 顔トラッキング / 政治コミュニケーション
研究開始時の研究の概要

本研究は深層学習の技術をテレビニュースの内容分析に応用し、大量の映像情報を目視に頼ることな、自動的に分析する方法論を確立する。深層学習は、分析対象の分類に有効となる特徴を自ら学び取っていくため、様々な角度や表情で人物が映されるテレビ映像の分析に有効である。本研究の文脈では、事前に特定することが困難な政治家の顔の特徴をアルゴリズムが自律的に学習していくことで、ニュース内における特定の政治家の出現を高い精度で検出することが可能になる。こうした深層学習に基づいた計算アルゴリズムと網羅性の高いニュースアーカイブを組み合わせることで、従来の内容分析では回答できなかった社会科学的問いに答えることを目指す。

研究成果の概要

目視ではコーディング不可能な大量のニュース映像を深層学習を用いて自動的に分析し、政治的アクターの登場時間を測定するシステムを構築した。その際、顔検出・トラッキングとクラスタリングを組み合わせることで、検出対象となるアクターごとにトレーニングする必要のない柔軟性の高いシステムを提案した。このシステムを用いて20年以上に渡るNHKニュース7の映像を用いた分析を行った結果、首相の登場時間は増減するものの、大統領制化の議論が予測するような単調増加は見られないこと、また2020年以降NHKニュース7は与党党首の登場時間の相対的割合が報道ステーションと比較して上昇していることなど、重要な知見を見出した。

研究成果の学術的意義や社会的意義

本研究はテレビの内容分析に深層学習の技術を応用した先駆的な研究であり、日本国内では初の試みである。20年以上にもおよぶ大量のニュース映像を目視に頼らずにすべて分析することは、本研究で提案されたシステムを用いて初めて可能になった。この点で、テレビの内容分析に革新的な変化をもたらすという当初の目的は達成された。本研究は社会科学の研究者とコンピュータ科学の研究者の緊密な学際的連携によって可能になったという点において、文理融合の面から学術的意義がある。さらに、提案されたシステムのソースコードはすべて公開しており、アカデミアに限らず世界中の人が利用可能となっており、その点で社会的意義も大きい。

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (15件)

すべて 2023 2022 2021

すべて 雑誌論文 (1件) (うち国際共著 1件、 査読あり 1件、 オープンアクセス 1件) 学会発表 (12件) (うち国際学会 6件) 図書 (2件)

  • [雑誌論文] A multimedia document browser based on multilayer networks2021

    • 著者名/発表者名
      Benjamin Renoust, Haolin Ren, Guy Melancon, Marie-Luce Viaud, Shin'ichi Satoh
    • 雑誌名

      Multim. Tools Appl.

      巻: 80(15) 号: 15 ページ: 22551-22588

    • DOI

      10.1007/s11042-020-09872-9

    • 関連する報告書
      2021 実施状況報告書 2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] KAO: Key Actor detection for TV News2023

    • 著者名/発表者名
      Andreu Girbau, Tetsuro Kobayashi, Benjamin Renoust, Yusuke Matsui, Shin'ichi Satoh
    • 学会等名
      Asian Polmeth 2023 Annual Meeting
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 大規模高次元ベクトルデータに対する近似最近傍探索インデックスの分散並列構築2023

    • 著者名/発表者名
      小野直樹・松井勇佑
    • 学会等名
      パターン認識・メディア理解研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Long-Term Analysis of Appearances of Japanese Politicians on TV News: Face Detection and Tracking Using Deep Learning Techniques2022

    • 著者名/発表者名
      Tetsuro Kobayashi, Andreu Girbau, Yusuke Matsui, Benjamin Renoust, and Shin'ichi Satoh
    • 学会等名
      International Communication Association
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] KAO: Key Actor detection for TV News2022

    • 著者名/発表者名
      Andreu Girbau, Tetsuro Kobayashi, Benjamin Renoust, Yusuke Matsui, Shin'ichi Satoh
    • 学会等名
      The 25th Meeting on Image Recognition and Understanding
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] データ重複が最近傍探索問題に与える精度変化の分析2022

    • 著者名/発表者名
      金海智大・松井勇佑
    • 学会等名
      画像の認識・理解シンポジウム
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 近似最近傍探索のためのグラフインデックスの分散並列構築2022

    • 著者名/発表者名
      小野直樹・松井勇佑
    • 学会等名
      パターン認識・メディア理解研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] KAO: Key Actors DetectiOn for TV News2022

    • 著者名/発表者名
      Andreu Girbau, Tetsuro Kobayashi, Benjamin Renoust, Yusuke Matsui, Shin'ichi Satoh
    • 学会等名
      パターン認識・メディア理解研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Multiple Object Tracking from appearance by hierarchically clustering tracklets2022

    • 著者名/発表者名
      Andreu Girbau, Ferran Marques, Shin'ichi Satoh
    • 学会等名
      British Machine Vision Conference (BMVC)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Textual Analysis for Video Memorability Prediction2022

    • 著者名/発表者名
      Camille Guinaudeau, Andreu Girbau
    • 学会等名
      Multimedia Evaluation workshop
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Long-term analysis of the appearance of Japanese politicians on TV news: Face detection and tracking using deep learning techniques2022

    • 著者名/発表者名
      Tetsuro Kobayashi, Andreu Girbau, Yusuke Matsui, Benjamin Renoust, and Shin'ichi Satoh
    • 学会等名
      The Japanese Society for Quantitative Political Science
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Multiple object tracking with mixture density networks for trajectory estimation2021

    • 著者名/発表者名
      Andreu Girbau, Xavier Giro-i-Nieto, Ignasi Rius, Ferran Marques
    • 学会等名
      CVPR - Robust Video Scene Understanding: Tracking and Video Segmentation (RVSU) Workshop,
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Assessing movie similarity using a multilayer network model2021

    • 著者名/発表者名
      M Lafhel, Y Mourchid, B Renoust, H Cherifi, M El Hassouni
    • 学会等名
      FRCCS French Regional Conference on Complex System
    • 関連する報告書
      2021 実施状況報告書
  • [図書] Visual Analysis of Multilayer Networks2021

    • 著者名/発表者名
      "Fintan McGee, Benjamin Renoust, Daniel Archambault, Mohammad Ghoniem, Andreas Kerren, Bruno Pinaud, Margit Pohl, Benoit Otjacques, Guy Melancon, Tatiana von Landesberger"
    • 総ページ数
      150
    • 出版者
      Morgan & Claypool
    • ISBN
      9781636391458
    • 関連する報告書
      2021 実施状況報告書
  • [図書] Handling Complex Multilayer Networks: An Approach Based on Visual Network Analytics in Complex Systems, Smart Territories and Mobility2021

    • 著者名/発表者名
      Guy Melancon, Benjamin Renoust, Haolin Ren
    • 総ページ数
      19
    • 出版者
      Springer
    • ISBN
      9783030593025
    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2020-08-03   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi