2024 Fiscal Year Research-status Report
Providing evidence by verifying consistency between discourse and statistical data to support fact-checking
| Project/Area Number |
23K11342
|
|---|
| Research Institution | Kyoto Sangyo University |
|---|
Principal Investigator |
宮森 恒 京都産業大学, 情報理工学部, 教授 (90287988)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 統計データ検索 / 大規模言語モデル / 文書補強 / クエリ拡張 / 表データ / マルチホップ推論 / 含意関係認識 / 情報検索 |
|---|
| Outline of Annual Research Achievements |
言説に関連した統計データの検索については，前年度に判明したデータセット中の正解データ不備の問題を解消し，大規模言語モデルによる文書補強とリランキングによる統計データのアドホック検索手法の性能検証を進めた．具体的には，元々のデータセットには，BM25等の従来のランキング手法による上位文書にのみ正解の関連性スコアが付与されていたが，LLMを用いた提案手法では，従来手法では取得できなかった文書を上位にランキングさせていたため，正解の関連性スコアが付与されていなかったことが不備の原因であった．クラウドソーシングを用いて不足分の正解関連性スコアを付与し，問題点を解消した．大規模言語モデルによる制約のもと，小規模なデータセットによるランキング性能の比較実験を行った結果，特に上位10 件の範囲では，提案手法は優れた性能を示しており，上位1位，上位3位においては最も優れたnDCG値を示すことを確認した．
次に，統計データ内の関連箇所の抽出については，視覚的なマルチホップ質問応答タスクに取り組んだ．具体的には，SlideVQAにおける従来手法の課題であった検索ステップ (回答根拠選択)の性能改善に焦点を当て，テキストのみに対するマルチホップ質問応答で高い性能を達成している Beam Retrieval をマルチモーダル情報に対応するよう拡張した手法 MMBR を提案した．実験により，提案手法は，検索ステップおよび質問応答全体の性能向上に寄与することを明らかにした．
最後に，関連箇所との整合性有無の判定については，言説テキスト，統計データの関連箇所，含意関係ラベルから構成される小規模なデータセットを作成し，既存のLLMによる含意関係認識の性能を検証した．その結果，「含意」「矛盾」 ラベルの言説に関しては高精度に分類できる一方，「中立」ラベルの言説は「含意」と誤判定される傾向が見られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
まず，言説に関連した統計データの検索については，当初の計画通り，大規模言語モデルを用いた統計データのデータ補強，大規模言語モデルを用いたとととと統計データのリランキング手法を提案し，その基本的な性能を検証できているため．
次に，統計データ内の関連箇所の抽出については，当初の計画通り，関連箇所を抽出する際に必要な視覚的なマルチホップ推論による焦点を当てた手法を提案し，その基本的な性能を確認しているため．
最後に，関連箇所との整合性有無の判定については，当初の計画通り，基盤モデルを利用して含意関係認識の性能を分析しているため．
|
| Strategy for Future Research Activity |
まず，言説に関連した統計データの検索については，大規模言語モデルを用いた手法のため，検索結果を出力するまでの応答速度に課題がある．問題のある箇所を分析した上で改善を図る必要がある．
次に，統計データ内の関連箇所の抽出については，統計データを用いたデータセットをよより充実させ，より的確な関連箇所の抽出手法の開発と評価を実現し，整合性検証につなげられることを目指す．
最後に，関連箇所との整合性有無の判定については，データセットをさらに充実させ，手法の性能分析や課題の明確化などの検討を進める必要がある．
|
| Causes of Carryover |
予定していた国際会議で不採録となり，年度内での国際出張旅費が未使用となったこと，および，クラウドソーシングによる作業費が当初の見込みより少なく済んだことにより，残額が発生したため．追加実験の実施や研究成果発表等に伴う学会参加，論文投稿などに充てる予定である．
|
