SymTex-TBQ

评测集介绍

Introduction

SymTe-TBQ是一个用于评估大语言模型在符号非单调推理领域能力的数据集，包含540个样本。TBQ（Tri-state Boolean Querying）任务是一个分类任务，给定非单调推理程序（包含事实、规则）和查询，要求输出查询在程序中的状态，分为True、False和Maybe。

Meta Data

facts: 事实集合

rules: 规则集合

query: 查询

label: 查询标签

[输入]
facts:
– Viverricula(“Brandi_Lucero”,“Austin_Diaz”)
– veronica(“Austin_Diaz”,“Austin_Diaz”)
Viverricula(“Austin_Diaz”,“Ashley_Clayton”)
Taraxacum(“Brandi_Lucero”,“Austin_Diaz”)

rules:
Aplectrum(A) :– Viverricula(A,B)
Helotiales(A,B) :– Viverricula(C,B), veronica(C,A)
– Latimeria(A) :– Aplectrum(A), Helotiales(B,A), Tulostoma(A)
– Cathartes(B,A) :– Viverricula(C,B), –Aplectrum(A)
– epidendron(B,A) :– Taraxacum(B,B), Helotiales(B,A), Tulostoma(A)
:– Taraxacum(B,B), –epidendron(B,A)

query: Aplectrum(“Austin_Diaz”)

[预期输出]
label: True