2023 Fiscal Year Annual Research Report
| Project/Area Number |
21K17811
|
|---|
| Research Institution | Chiba Institute of Technology |
|---|
Principal Investigator |
重藤 優太郎 千葉工業大学, 人工知能・ソフトウェア技術研究センター, 主任研究員 (50803392)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
本年度は、ゼロショットキャプション生成法の開発・検証、および、言語生成におけるハルシネーション問題の解決に資する研究として事実検証技術の性能改善に取り組んだ。
ゼロショットキャプション生成については、実装の改修および検証実験を行なった。現在、この研究に関するプログラムの公開を検討している。
事実検証については、主に事実検証器の学習に注目して取り進めた。従来、検証器の学習においては交差エントロピー損失を用いることが一般的であった。交差エントロピー損失は、検証できないことを示すラベルを出力候補に含める場合、ラベル間の関係を十分に考慮しているとはいえない。本研究では、この問題に対処するため、ラベル間の関係を考慮した損失関数を開発した。具体的には、交差エントロピー損失に、間違い方を考慮した損失項を追加する拡張を行った。FEVER（Fact Extraction and VERification）ベンチマークデータセットを用いた実験により、開発した損失関数を用いて学習した検証器が交差エントロピー損失を用いたものよりも高い性能を得ることを示した。また、FEVER データセットは不均衡データ（各クラスの学習サンプル数が均一ではない）となっているため、損失にクラスごとの重みを付与することで性能がさらに改善することも確認した。本研究成果は、自然言語処理分野の国際会議である EACL に採択され、2024年3月に発表を行った。この研究に関するプログラムを GitHub 上に公開した。
|
