ゼロショットキャプション生成法の開発

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K17811
• Research Institution: Chiba Institute of Technology
• Principal Investigator: 重藤 優太郎 千葉工業大学, 人工知能・ソフトウェア技術研究センター, 主任研究員 (50803392)
• Project Period (FY): 2021-04-01 – 2023-03-31
• Keywords: 自然言語処理 / コンピュータビジョン / キャプション生成 / ゼロショット学習

Outline of Annual Research Achievements

画像や動画が与えられたときに，その内容を説明する文（キャプション）を出力するキャプション生成タスクに取り組む．キャプション生成の社会応用は多岐にわたり，社会的ニーズは言語を問わず高い．キャプション生成を実装するためには，通常，対象言語の教師データが必要とされるが，その構築は高価であり大きな障害となっている．本研究では，パラレルコーパスおよび英語の教師データが与えられている状況で，目的言語の教師データを用いずに目的言語のキャプション生成を行うゼロショットキャプション生成法を開発する．
これを実現するために，2021年度は，機械翻訳を介さず目的言語のキャプションを生成する方法の開発に取り組んだ．本手法は，近年活発に研究されている多言語・マルチモーダル事前学習を活用することによって実現している．実装・検証の途中ではあるものの，予備実験においては，良好な結果を得られている．
また，並行して応用タスクの選定も行っており，こちらに関しては環境の構築（データセットの前処理，ベースラインの実装など）が完了している．ベンチマークデータにおいて，本手法の有効性が確認され次第，応用タスクでの実証を行う予定である．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

実装・検証を通して，多言語・マルチモーダル事前学習に関する理解が深まり，進展を見た．方法論自体の構築は完了しており，実装・検証のフェーズに入っている．当初の計画では，本年度に，このフェーズまでが完了している予定であったが，検証に手間取っているため完了していない（小規模なデータを用いた予備実験においては検証が完了しているが，大規模な実験での検証が完了していない）．そのため，進捗状況としてはやや遅れていると認識している．

Strategy for Future Research Activity

予備実験では良好な結果を得ていることから，より詳細な検証を行い，有用性を示す．また，当初の計画通りドメイン適応などの社会実装を想定し，未知語問題への対応などを検討する．

Causes of Carryover

次年度使用額が生じた理由は，学会発表のための予算として旅費および原稿校閲料を確保していたが，学会発表を行わなかったため，また，物品費として計算機の購入を予定していたが，本年度に大規模データの検証までに至らなかったため（そのため，本年度に購入していない）．
次年度使用額に関しては，大規模データでの検証のための計算機購入（本年度の購入を見送った分）およびクラウドコンピューティング代として使用する。