ゼロショットキャプション生成法の開発

2022 Fiscal Year Research-status Report

• Project/Area Number: 21K17811
• Research Institution: Chiba Institute of Technology
• Principal Investigator: 重藤 優太郎 千葉工業大学, 人工知能・ソフトウェア技術研究センター, 主任研究員 (50803392)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 自然言語処理 / コンピュータビジョン / キャプション生成 / ゼロショット学習

Outline of Annual Research Achievements

本研究課題は, 機械翻訳を介さず目的言語のキャプションを生成する方法 (ゼロショットキャプション生成法) の開発に取り組む. ゼロショットテキスト生成の関連研究が発表されたことを受け, 本年度は開発していたモデルの見直しおよび実装を行なった. また, 新たに評価用データが公開されたため, 現在それらを用いて検証を行なっている. 開発したゼロショットキャプション生成法は, 近年活発に研究されている画像と言語を用いた事前学習モデル (vision and language pre-training models) と (多言語のテキストデータで学習された) 大規模言語モデル (large language models) を活用することで実現している.

現在, モデルの実装は完了しており, 検証を行なっている段階である. 当初の想定よりも時間を要していることから, 検証が完了しておらず, 現状の実験においては, 開発したゼロショットキャプション生成法は十分な性能を得られていない. まだ分析段階ではあるが, これは大規模言語モデルが当初期待していた通りの振る舞いをしていないことが原因だと思われる. これを踏まえて, 来年度は, 大規模言語モデルの振る舞いを考慮し, (教師情報ではない) 補助情報を有効活用することでゼロショットキャプション生成を実現する. 応用タスクの選定は完了しているため, ベンチマークデータにおいて, 開発した方法の有効性が確認でき次第, 応用タスクでの検証に取り組む. 他の言語生成タスクと同様に, キャプション生成においても, ハルシネーション (hallucination) が問題となっていることが報告されている. この観点からも分析を行いたい.

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

本年度は, 関連研究が公表されたことを受け, モデルの見直しおよびその実装を行なった. 実装はおおむね完了したものの, 検証が完了していないため, 遅れているとした.

Strategy for Future Research Activity

モデルの実装はおおむね完了しているため, 来年度は評価用データを用いて検証を行う. また, 当初の計画通り未知ドメインでの利用などの社会実装を想定し, 応用タスクでのキャプション生成に取り組む.

Causes of Carryover

大規模な実験を行わなかったためクラウドコンピューティング費用を使用しなかった. また, 国際会議での発表がなく海外出張を行わなかったため, 旅費予算を使用しなかった. 次年度, 検証を行うためのクラウドコンピューティング費用や採録された際の旅費・論文掲載料として使用する.