生成型の言語モデルの登場と急速な大規模化によって、言語モデルの推論能力は劇的に向上している。このような言語モデルは、さまざまな場面における人間の作業支援ツールとして大きな期待が寄せられる一方で、実際の環境において必要となる複雑な指示の理解やコマンド生成などの能力については、さらなる改良が求められている。また、複数の情報ソースに分散する情報をさがしあてて、質問への正確な回答を生成する処理は、ハルシネーション対策としても重要である。本研究では、複雑な推論タスクに関する複数のデータセットを構築して公開しており、今後の研究開発における言語モデルの訓練・評価に貢献するものである。
|