• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

動画談話構造解析とそれを用いた要約生成

Research Project

Project/Area Number 21H03505
Research InstitutionNTT Communication Science Laboratories

Principal Investigator

平尾 努  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, 主任研究員 (40396148)

Co-Investigator(Kenkyū-buntansha) 木村 昭悟  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 主幹研究員 (10396202)
奥村 学  東京工業大学, 科学技術創成研究院, 教授 (60214079)
Project Period (FY) 2021-04-01 – 2024-03-31
Keywords自然言語処理 / 談話構造解析
Outline of Annual Research Achievements

昨年度,イベント間の意味関係を修辞構造木として表現する動画談話構造解析がタスクとして定義可能であることを小規模なデータセットにおける2名のアノテータ間の一致に基づき示した.本年度は,データを拡充し,ニューラルネットワークに基づくベースライン解析器を構築しその結果を分析した.その結果(1)イベントに与えられた正解キャプションからイベントのベクトル表現を得た場合,その解析性能は人間に匹敵する,(2)しかし,自動生成キャプションからイベントのベクトル表現を得た場合には解析性能が大きく劣る,(3)動画から直接ベクトル表現を得た場合には,正解キャプションを用いた場合よりも性能は劣るものの自動キャプションを用いた場合よりも優れていることがわかった.さらに動画から直接ベクトル表現を得るためのエンコーダをあらかじめキャプショニングタスクで事前学習しておくと性能向上が得られることがわかり,今後研究を発展させていく上で重要な知見を得た.

また,テキスト修辞構造解析に関して,性能向上のためのデータ拡張法の研究にも取り組んだ.ニューラルネットに基づく解析器の場合,大量のラベルなしデータを自動的に解析した結果を擬似正解データとして解析器の事前学習することで性能が向上することが知られている.しかし,ラベルなしデータを十分に得ることができないテキスト領域ではこの手法は適用できない.これを解決するため,少量のラベルつきデータから逆翻訳を用いて大量の擬似正解データを生成する手法を考案し,その有効性を確認した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

動画談話構造解析のためのデータセットを整備し,ベースライン解析器を構築した.その結果より,自動キャプションを利用するよりも動画特徴をそのまま利用することが有望であることがわかった.さらに,動画エンコーダをキャプショニングタスクで事前学習することで性能向上が見込まれることもわかった.今後解析器を改善していく上で非常に重要な知見を得ることができたので今年度については計画通り達成できたと考えている.

Strategy for Future Research Activity

今後も計画通り進めていく予定である.

  • Research Products

    (4 results)

All 2023 2022

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (3 results)

  • [Journal Article] 疑似正解データを活用したニューラル修辞構造解析2022

    • Author(s)
      小林 尚輝, 平尾 努, 上垣外 英剛, 奥村 学, 永田 昌明
    • Journal Title

      自然言語処理

      Volume: 29 Pages: 875~900

    • DOI

      10.5715/jnlp.29.875

    • Peer Reviewed
  • [Presentation] 逆翻訳を利用したデータ拡張による文間の修辞構造解析の改善2023

    • Author(s)
      前川在, 小林尚輝, 平尾努, 上垣外英剛, 奥村学
    • Organizer
      言語処理学会第29回年次大会
  • [Presentation] 動画談話構造解析へ向けたデータセット構築2022

    • Author(s)
      平尾 努, 小林 尚輝, 上垣外 英剛, 奥村 学, 木村 昭悟
    • Organizer
      第25回 画像の認識・理解シンポジウム
  • [Presentation] A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing2022

    • Author(s)
      Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, Masaaki Nagara
    • Organizer
      Findings of the Association for Computational Linguistics: EMNLP 2022

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi