|
最終年度では本研究が予定したものと類似した共参照解析手法が他研究者より発表されたため，研究対象をより拡大し，言語と画像の融合や事前学習済み言語モデル(PLM)上で共参照解析をも含めた文脈理解を助けるための一手段として，外部知識を利用するための研究に注力した．PLMでの利用が期待される知識グラフ(KG)に関しては，KGの埋め込み手法(KGE)においてより頑健な推論を行うことが可能な学習手法を提案した．さらにKGのPLMにおける利用のための調査として，PLMを用いた要約生成において，指定した語句を出現するように学習することで忠実な出力を可能とする手法を提案した．また，言語と画像の融合分野(V&L)においては，使用されているモデルがどのように各タスクを解決するための知識を保持しているかの調査を実施した．これは外部知識を反映する際にどの部位を対象とすることが効率的であるかを確認するための事前調査である．さらに，V&Lで使用されているモデルを対象に，Wikipediaに存在するInfoboxを生成することで自然言語から獲得されたエンティティに関する知識がどれほどモデルに維持されているかを検証するためのタスク及びデータセットを提案した．作成したデータセットを用いた検証の結果，モデルはエンティティに関する知識の一部をV&Lデータを学ぶ際に忘却していることが判明した．また，画像生成においては外部知識であるInfoboxの情報を利用することで画像生成の精度が向上することが判明した．なお，これらの成果は第29回言語処理学会にて発表し，Infoboxを利用した研究は委員特別賞を受賞した．さらに同研究が自然言語処理分野のトップ国際会議ACL2023に採択された．このように研究期間を通じて事前学習済みモデルにおいて外部知識を利用するための手法及びそれを支援するための手法を実現することができた．
|
