• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

深層学習を用いたテレビの内容分析の革新:政治家の顔検出とトラッキング

Research Project

Project/Area Number 20K20513
Research InstitutionKobe University

Principal Investigator

小林 哲郎  神戸大学, 法学研究科, 研究員 (60455194)

Co-Investigator(Kenkyū-buntansha) 松井 勇佑  東京大学, 大学院情報理工学系研究科, 講師 (80780676)
佐藤 真一  国立情報学研究所, コンテンツ科学研究系, 教授 (90249938)
Project Period (FY) 2020-07-30 – 2023-03-31
Keywords深層学習 / テレビの内容分析 / 顔検出 / 顔トラッキング / 政治コミュニケーション
Outline of Annual Research Achievements

新型コロナウイルスの蔓延に伴う入国制限によりポスドクの採用が遅れたが、2021年5月に採用できたことにより研究が加速した。まず、研究計画における第一フェーズに相当する、顔検出アルゴリズムの改良に取り組んだ。その際、バリデーションに用いる目視アノテーションデータの精度を高めるため、再度サンプリングされたNHK News7のデータのアノテーションを外部に委託して行った。この新しいアノテーションデータの作成により、顔検出・トラッキングアルゴリズムの精度を有意に高めることに成功した。したがって研究計画の第一フェーズは達成された。さらに、改良されたアルゴリズムを用いてNHK News7における首相の登場時間の過去20年間における推移、首相と野党党首の登場時間の比の推移、および国政選挙時における日毎の党首登場時間の推移の分析を行い、その結果をコミュニケーション研究のトップカンファレンスであるInternational Communication AssociationのComputational Methods Divisionに投稿し、採択された。発表は2022年5月にオンライン上で行われる。また、2022年1月には国内の政治学のワークショップであるThe Japanese Society for Quantitative Political Scienceでも発表を行い、社会科学者から有益なフィードバックを得た。さらに、研究計画の第二フェーズではNHKと民放のニュース番組における政治家の登場パタンの違いを検討するため、テレビ朝日の報道ステーションのデータをサンプリングし、NHKと同様のアノテーションデータを作成した。これにより第二フェーズの分析に必要なデータが整った。現在は第一フェーズにおける顔検出・トラッキングアルゴリズムの改良についての英語論文をまとめている。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ポスドクの採用がコロナ禍によって遅れていたが、2021年5月に採用予定者が入国できたため、この遅れは取り戻すことができた。2021年5月以降は採用されたポスドク、および分担研究者との緊密な連携により研究が加速し、「研究実績の概要」に記したように顕著なアウトプットを出すことができた。具体的には研究計画に記した第一フェーズは完了し、そのアウトプットを英語論文にまとめている段階である。すでにプロジェクトは第二フェーズに入っており、予備的な分析の結果は国内ワークショップ等で発表している。また、研究チームは常時Slack上でコミュニケーションを取り、月に1回はZoomで進捗の共有と方針の確認を行っている。

Strategy for Future Research Activity

今後は研究計画における第二フェーズの分析を進める。現在、首相のテレビの登場時間の推移が世論に及ぼす効果を検証するため、内閣支持率のデータを入手・整備している。また、与野党の政治家の登場時間のバランスと国会における議席のバランスの相関を検討するため、議席率の推移のデータをすでにまとめた。これらの異なるデータは結合され、時系列分析によって統計的な検討が加えられる予定である。さらに、主な民放のニュース番組として報道ステーションに注目し、政治家の登場パタンがNHKとどのように異なるのかについても分析を進める。同時に、学会発表と論文発表を進める。すでにコミュニケーション研究のトップカンファレンスであるInternational Communication Associationでの発表が採択されているが、これにとどまらずに成果の発表を推し進める。現在鋭意執筆中の第一フェーズに関する英語論文は2022年度の早い時期に投稿可能となる予定である。続いて第二フェーズの成果を社会科学系の国際誌に投稿する予定である。さらに、テレビニュースアーカイブは映像データだけではなく字幕データも保存されているため、映像データとテキストデータの比較分析も行う予定である。

Causes of Carryover

次年度使用額が生じたのは、新型コロナウイルスの蔓延によりポスドクの採用予定者がスペインからの入国ができず、採用が遅れたためである。ポスドクの採用は2021年5月にずれ込んだため、それまでの分の人件費が繰り越されることになった。さらにパンデミック下での人流制限により、旅費の執行が予定よりも大幅に少なくなったことも次年度使用額が発生した理由の一つである。次年度以降もディープラーニングを用いた実験用のアノテーションデータの作成等で費用が発生する予定であり、次年度繰越額はこれらの用途に使用される。

  • Research Products

    (6 results)

All 2022 2021

All Journal Article (1 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (3 results) (of which Int'l Joint Research: 1 results) Book (2 results)

  • [Journal Article] A multimedia document browser based on multilayer networks2021

    • Author(s)
      Benjamin Renoust, Haolin Ren, Guy Melancon, Marie-Luce Viaud, Shin'ichi Satoh
    • Journal Title

      Multim. Tools Appl.

      Volume: 80(15) Pages: 22551-22588

    • DOI

      10.1007/s11042-020-09872-9

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Long-term analysis of the appearance of Japanese politicians on TV news: Face detection and tracking using deep learning techniques2022

    • Author(s)
      Tetsuro Kobayashi, Andreu Girbau, Yusuke Matsui, Benjamin Renoust, and Shin'ichi Satoh
    • Organizer
      The Japanese Society for Quantitative Political Science
  • [Presentation] Multiple object tracking with mixture density networks for trajectory estimation2021

    • Author(s)
      Andreu Girbau, Xavier Giro-i-Nieto, Ignasi Rius, Ferran Marques
    • Organizer
      CVPR - Robust Video Scene Understanding: Tracking and Video Segmentation (RVSU) Workshop,
    • Int'l Joint Research
  • [Presentation] Assessing movie similarity using a multilayer network model2021

    • Author(s)
      M Lafhel, Y Mourchid, B Renoust, H Cherifi, M El Hassouni
    • Organizer
      FRCCS French Regional Conference on Complex System
  • [Book] Visual Analysis of Multilayer Networks2021

    • Author(s)
      "Fintan McGee, Benjamin Renoust, Daniel Archambault, Mohammad Ghoniem, Andreas Kerren, Bruno Pinaud, Margit Pohl, Benoit Otjacques, Guy Melancon, Tatiana von Landesberger"
    • Total Pages
      150
    • Publisher
      Morgan & Claypool
    • ISBN
      9781636391458
  • [Book] Handling Complex Multilayer Networks: An Approach Based on Visual Network Analytics in Complex Systems, Smart Territories and Mobility2021

    • Author(s)
      Guy Melancon, Benjamin Renoust, Haolin Ren
    • Total Pages
      19 (book chapter)
    • Publisher
      Springer
    • ISBN
      978-3-030-59302-5

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi