• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a Zero-Shot Caption Generation Method

Research Project

Project/Area Number 21K17811
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionChiba Institute of Technology

Principal Investigator

Shigeto Yutaro  千葉工業大学, 人工知能・ソフトウェア技術研究センター, 主任研究員 (50803392)

Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywords自然言語処理 / コンピュータビジョン / キャプション生成 / ゼロショット学習
Outline of Research at the Start

本研究では, 画像や動画が与えられたときに, その内容を説明する文 (キャプション) を出力するキャプション生成タスクに取り組む. キャプション生成の社会応用は多岐にわたり, 社会的ニーズは言語を問わず高い. キャプション生成を実装するためには, 通常, 対象言語の教師データが必要とされるが, その構築は高価であり大きな障害となっている. 本研究では, 対象言語の教師データを使うことなく, キャプション生成の実装を可能にするゼロショットキャプション生成法を開発する. これによって, キャプション生成を容易に (=教師データを構築するために高額な費用を支払うことなく) 実装できるようにする.

Outline of Final Research Achievements

We explore loss functions for fact verification in the FEVER shared task. While cross-entropy loss is often used to train verdict predictors, it does not fully consider the relationship between FEVER classes. We develop task-specific objectives tailored to FEVER and demonstrate their effectiveness in the experiments. We also confirm that performance is further improved when these objectives are combined with simple class weighting, effectively overcoming the training data imbalance.

Academic Significance and Societal Importance of the Research Achievements

開発した損失関数は、任意のモデルに適用することができる。そのため、既存の検証器の学習に開発した損失関数を利用することで、既存検証器の性能を改善できる可能性がある。事実検証は、情報の正確性や妥当性などを検証するものであり、誤った情報の拡散とその影響を抑制する効果が期待できる。SNS の興隆や大規模言語モデルの台頭もあり、事実検証の需要はますます高まっている。本研究は、この事実検証に関する取り組みであり、社会的にも意義がある。

Report

(4 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (1 results)

All 2024

All Presentation (1 results) (of which Int'l Joint Research: 1 results)

  • [Presentation] Rethinking Loss Functions for Fact Verification2024

    • Author(s)
      Yuta Mukobara, Yutaro Shigeto, Masashi Shimbo
    • Organizer
      The 18th Conference of the European Chapter of the Association for Computational Linguistics
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi