| Project/Area Number |
23K11342
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Kyoto Sangyo University |
|---|
Principal Investigator |
宮森 恒 京都産業大学, 情報理工学部, 教授 (90287988)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 統計データ検索 / 大規模言語モデル / 文書補強 / クエリ拡張 / 表データ / 階層構造 / 表現学習 / 情報検索 / 事実確認 / 整合性検証 / 根拠 / 統計データ / 自然言語 |
|---|
| Outline of Research at the Start |
本研究では、ネット上などに存在する事実確認(ファクトチェック)の対象となる言説に対して、政府統計などで公開される統計データとの整合性の有無を検証することにより、従来の自然言語処理だけでは得られない事実確認に有用な根拠を提供する研究を行う。本研究により、個人が接するさまざまな情報に対して、よりファクトチェックしやすい環境を整備することにつながり、偽情報などに対するメディアリテラシーの涵養に資することが期待される。
|
| Outline of Annual Research Achievements |
言説に関連した統計データの検索については，大規模言語モデルによる文書補強とリランキングによる統計データのアドホック検索手法を提案し検証を進めた．具体的には，統計データの内容説明を大規模言語モデルで生成しメタデータを補強した文書を作成し，大規模言語モデルを用いたクエリ拡張とリランキングを行う手法の性能を検証した．実験において，メタデータのみを文書としたBM25によるランキングと，リランキングを行う前後のランキング結果を比較したところ，クエリ拡張や文書補強によりランキング性能が低下すること，また，Pairwise Ranking Promptingによるリランキングはある程度ランキングを改善できることが確認された．一方，誤り分析の結果，実験で採用したデータセットの一部に適切な関連性スコアが付与されておらず，正解データの妥当性に不備がある可能性があることが判明した．
次に，統計データ内の関連箇所の抽出については，与えられたテキストに対して，それに関連する表中のセルを回答するタスクに取り組んだ．具体的には，表に含まれる階層的な情報を二次元座標木と呼ばれるツリーベースの構造で表現する従来手法が，必ずしも適切に構造を表現できない課題を改善した手法を提案し，性能を検証した．実験では，提案手法は，表が複雑な階層構造を有している際に特に従来手法と比較して良好な結果となることがわかった．また，日付に該当するセルは，セルタイプ分類タスクでは貢献度が大きいものの，表とテキストの関連付けタスクでは手掛かりとし有用でないことが確認できた．
最後に，関連箇所との整合性有無の判定については，データセット整備と実験に向けての基礎的な検討を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
まず，言説に関連した統計データの検索については，当初の計画通り，言説からの適切なクエリ生成や、検索される統計データのデータ補強，リランキングを大規模言語モデルを活用した統計データ検索手法を提案し，その基本的な性能を確認しているため．
次に，統計データ内の関連箇所の抽出については，当初の計画通り，対象となる言説に関連する箇所を統計データから抽出する手法を提案し，その基本的な性能を確認しているため．
最後に，関連箇所との整合性有無の判定については，当初の計画通り，実験を実施するためのデータセット構築の検討作業を進めているため．
|
| Strategy for Future Research Activity |
まず，言説に関連した統計データの検索については，実験で採用したデータセットの一部の不備について状況を調査の上，適宜問題のある箇所を補強する作業を進め，その上で改めて提案手法を検証する必要がある．
次に，統計データ内の関連箇所の抽出については，誤り分析を進め，現在のモデルを改良するか新たなモデルを構築することで，より的確に関連箇所を取得し，整合性検証につなげられることを目指す．
最後に，関連箇所との整合性有無の判定については，実験を実施するためのデータセットを構築し，手法の性能分析や課題の明確化などについて検討を進める必要がある．
|
